-
编辑 删除
hdfs下载出现Exception in thread "main" java.lang.NullPointerException
hdfs使用copyToLocalFile下载文件时出现Exception in thread "main" java.lang.NullPointerException。
-
编辑 删除
HBase LSM树
HBase文件系统LSM数据结构的主题思想与特点
-
编辑 删除
HBase架构核心模块
HBase架构核心组件的知识总结及自我理解
-
编辑 删除
利用sqoop完成数据导入导出
使用SQOOP分别实现关系型数据库入mysql与hive、hbase之间的数据交流。
-
编辑 删除
hive数据加载
hive数据导入的几种格式。包括load data、查询语句导入、动态语句导入、CTAS格式数据导入。
-
编辑 删除
hive存储格式
hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式
-
编辑 删除
hive权限控制
再一次查询hive中的数据时爆出Authorization failed:No privilege 'Select' found for inputs { database:hive,table:emp,columnName:id}.Use SHOW GRANT to get more details.错误：是因为使用的用户权限不足。因此只需要将select权限赋予用户即可。Hive的权限控制并不是完全安全的。hive的权限控制是为了防止用户不小心做了不合适的操作。
-
编辑 删除
Unable to load native-hadoop library for your platform...
hadoop本地库无法使用。WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...
-
编辑 删除
java设计模式-单例设计模式
单例设计模式中的饿汉式与懒汉式
-
编辑 删除
hive启动出现权限错误 /tmp/hive on HDFS should be writable.
启动hive时出现。Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: rwxr-xr-x
-
编辑 删除
自定义实现Mapreduce计算的key类型
1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个自定义的WritableComparable类型，并使其作为mapreduce计算的key类型。2.自定...
-
编辑 删除
Mapreduce程序WordCount单词计数详解
1. 环境介绍：Centos6.4,Hadoop-1.1.2,eclipse8.52. 刚刚接触mapreduce编程的时候总是不明白它是如何进行分割，如何分组，如何shuffer。尤其会对map函数，reduce函数中的参数类型感到疑惑。 因此自己整理了一下自己对mapreduce程序经典案例单词计数的理解。3. WordCount单词计数完...
-
编辑 删除
Hadoop启动时出现Warning: $HADOOP_HOME is deprecated.警告。
启动Hadoop时出现Warning: $HADOOP_HOME is deprecated.警告。
-
编辑 删除
CentOS网络连接方式为NAT，系统无法上网或IP设置成静态后无法上网
linux系统网络连接方式为NAT时，系统无法上网或IP设置成静态后无法上网。
