一、实验过程中遇到问题,查看日志发现:2013-12-11 05:29:05,286
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:
java.io.IOException: Incompatible
namespaceIDs in /tmp/hadoop/dfs/data: namenode namespaceID =
1958675977; datanode namespaceID = 1911842677
造成datanode无法启动;
原来是因为./hadoop namenode
-format这个命令造成的datanode和namenode的namespaceID不一致,解决方案:
1.我将hadoop的数据信息配置到了/tmp下,于是我把tmp目录清空了。当然,之前传上去的数据也没了,不太好。。
2.根据资料,此方法是修改/current/VERSION的namesapceID,要和namenode中当前的namespaceID(在/current/VERSION中)一致,配置好后重启数据节点。
(dfs.data.在conf/hdfs-site.xml中配置)
二、端口的问题
先前在core-site.xml和mapred-site.xml中配置端口分别为9000、9001,单独运行hdfs没问,但是到了进行分词实验这一步,在eclipse中始终自动访问8020,造成:
Exception in thread "main" java.net.ConnectException: Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException:
Connection refused
所以还是先改成8020,8021吧。。。