ITPub博客

1.  问题导读：Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executablenull\bin\winutils.exe in the Hadoop binaries.2.  问题解决：仔细查看报错是缺少Windows下解压的bin目录下。（即hadoop installation directory指定目录的...

hdfs使用copyToLocalFile下载文件时出现Exception in thread "main" java.lang.NullPointerException。

HBase文件系统LSM数据结构的主题思想与特点

HBase架构核心组件的知识总结及自我理解

使用SQOOP分别实现关系型数据库入mysql与hive、hbase之间的数据交流。

hive数据导入的几种格式。包括load data、查询语句导入、动态语句导入、CTAS格式数据导入。

hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式

再一次查询hive中的数据时爆出Authorization failed:No privilege 'Select' found for inputs { database:hive,table:emp,columnName:id}.Use SHOW GRANT to get more details.错误：是因为使用的用户权限不足。因此只需要将select权限赋予用户即可。Hive的权限控制并不是完全安全的。hive的权限控制是为了防止用户不小心做了不合适的操作。

hadoop本地库无法使用。WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...

单例设计模式中的饿汉式与懒汉式

启动hive时出现。Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable.Current permissions are: rwxr-xr-x

1. 在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个自定义的WritableComparable类型，并使其作为mapreduce计算的key类型。2.自定...

1.   环境介绍：Centos6.4,Hadoop-1.1.2,eclipse8.52.   刚刚接触mapreduce编程的时候总是不明白它是如何进行分割，如何分组，如何shuffer。尤其会对map函数，reduce函数中的参数类型感到疑惑。 因此自己整理了一下自己对mapreduce程序经典案例单词计数的理解。3.   WordCount单词计数完...

启动Hadoop时出现Warning: $HADOOP_HOME is deprecated.警告。

linux系统网络连接方式为NAT时，系统无法上网或IP设置成静态后无法上网。

前两天再一次操作ORACLE数据库时，误删了其中的一个数据库表空间，且之前没有将此数据库表空间备份。导致今天在启动数据库时无法启动，经过自己查找资料后便将其恢复。具体的命令操作如下：至此数据库便可以正常使用了。...

一.在初次使用eclipse运行MapReduce程序时会出现未设置路径权限的错误（Failed to set permissions of path:）。如下图        出现这种错误的原因是程序运行时给出的输入输出路径的权限无法满足Hadoop自带的权限检查要求。    (hadoop中hdfs文件系统中要求文件权限达到755，而...

一.错误介绍.    在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无 法满足supergroup的755权限要求，所以会出现错误。如下二.修改方法。    修改配置文件中的设置，找到hdfs-site.xml配置问文件。  &nbsp...

环境介绍：虚拟机VMware10,系统redHat6.4.yum配置已在其他文章中介绍。一.首先将linux系统自带的MySQL数据库删除掉。    二.下载并编译安装编译的工作环境，使用tar命令将cmake压缩包解压。        切换进cmake解压目录下。       使用./co...

本文是讲如何建立在windows下使用Myeclipse编写MapReduce程序的环境。在windows下开发难度低于在Linux下的开发难度，简单易操作。