MR 博客记录
MapReduce过程详细说明
hadoop hdfs 命令使用
参考链接:http://lxw1234.com/archives/2015/08/452.htm在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行,普通用户无权限。[hadoop@dev ~]$ hdfs fsckUsage: DFSck [-list-corruptfileblocks | [-move | -de...
hadoop 集群重启是出现Journalnode节点目录无法格式化问题
参考链接:http://blog.csdn.net/knowledgeaaa/article/details/23759099
avro处理hadoop上的小文件
参考链接:http://sishuok.com/forum/blogPost/list/6921.html
HA手动切换方式及方法
参考链接:http://www.aboutyun.com/thread-13391-1-1.html 确定要转为active的namenode的id,这里将namenode1设为active,使用命令行工具进行状态切换:$HADOOP_HOME/bin/hdfs haadmin -failover --forcefence --forceactive nn2 nn1注意:此处“nn2 nn1”的顺序表...
hadoop hdfs 命令使用
参考链接:http://lxw1234.com/archives/2015/08/452.htm在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。fsck命令必须由HDFS超级用户来执行,普通用户无权限。[hadoop@dev ~]$ hdfs fsckUsage: DFSck [-list-corruptfileblocks | [-move | -de...