经过将近1个月的努力,最后终于终于把伪分布式搭建好了在搭建的过程中,学到很多东西,在安装hadoop
所犯错误如下:
一.ssh互连错误
1.ssh连接错误
产生原因 使用交换机而不是路由器
2.第二个节点需要验证密码
产生原因 主节点在链接上第一个节点之后,在第一个节点的控制台下向第二个节点发送密钥
导致第二个节点收到的不是主节点密钥而是第一个节点密钥 故此一直无法验证
二.hadoop搭建错误
这个地方困惑了好久
错误较多
1.没有理清ip
盲目照搬教程 配置各个xml文件错误
2.环境变量错误
路径不正确
对于修改后的环境变量没有使用source命令
3.命令错误
对于start-all.sh命令 尽量使用
直接打开方式 而不是,hadoop文件下./bin/start-al.sh
4.对于伪分布式的搭建
尽量将文件放在简洁的路径当中 环境变量尽可能不包含中文
5.每次重启使用hadoop namenode -format
命令的时候 应把hadoop/tmp下文件尽量删除
6.每次使用hadoop时,都应该把ip再ifconfig检查一遍
确保一致后再启动
三.eclipse插件错误
1.在启动hdfs之后 没有注意打开explore
粗心错误
2.应保证hadoop完全无误并已经启动的情况下
再来使用eclipse
对于hadoop线程编辑 端口号与xml要一致
3.使用验证代码路径与教程灵活一致 不能死板
4.对于hdfs路径的变更 要使用disconnect reconnect来刷新 才能得到正确情况 这个错误耗时好久
四.领悟的大道理
1.一定要专心
2.严格按照教程 尽量不要主观的去修改某些东西
3.尽量避免在一次完整的配置过程中使用多个教程
4.细心
5.坚持
6.不懂就google 多和论坛 群里人交流
7.心静
转发至微博
转发至微博
<!-- 正文结束 -->
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/21598494/viewspace-1119701/
,如需转载,请注明出处,否则将追究法律责任。