ITPub博客

首页 > 大数据 > Hadoop > Hadoop的Eclipse的插件实验——遇到的问题

Hadoop的Eclipse的插件实验——遇到的问题

Hadoop 作者:bxpf66 时间:2013-12-12 00:30:33 0 删除 编辑
一、实验过程中遇到问题,查看日志发现:2013-12-11 05:29:05,286 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop/dfs/data: namenode namespaceID = 1958675977; datanode namespaceID = 1911842677
造成datanode无法启动;

原来是因为./hadoop namenode -format这个命令造成的datanode和namenode的namespaceID不一致,解决方案:
1.我将hadoop的数据信息配置到了/tmp下,于是我把tmp目录清空了。当然,之前传上去的数据也没了,不太好。。
2.根据资料,此方法是修改/current/VERSION的namesapceID,要和namenode中当前的namespaceID(在/current/VERSION中)一致,配置好后重启数据节点。 (dfs.data.在conf/hdfs-site.xml中配置)
参考:http://blog.csdn.net/wanghai__/article/details/5752199

二、端口的问题
先前在core-site.xml和mapred-site.xml中配置端口分别为9000、9001,单独运行hdfs没问,但是到了进行分词实验这一步,在eclipse中始终自动访问8020,造成:
Exception in thread "main" java.net.ConnectException: Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException: Connection refused
所以还是先改成8020,8021吧。。。
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21576204/viewspace-1119699/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-05-06