ITPub博客

首页 > 大数据 > Hadoop > 原:hadoop学习之hadoop完全分布式集群安装

原:hadoop学习之hadoop完全分布式集群安装

Hadoop 作者:功夫螳螂 时间:2013-12-25 16:42:23 0 删除 编辑
我的安装思路是这样的
1.先在单机上实现伪分布式安装  参考
  Ubuntu上搭建Hadoop环境(单机模式+伪分布模式):        http://blog.csdn.net/zhaoyl03/article/details/8657104

2.在伪分布式安装成功后安装完全分布式  参考
 hadoop学习之hadoop完全分布式集群安装
http://blog.csdn.net/ab198604/article/details/8250461
 但是参考这篇文档,在安装的过程中,遇到很多问题,而且很多需要根据自己的实际安装情况进行更改

大致步骤仍是参考完全分布式这篇文档,在安装过程中具体更改和需要解决的问题如下:


问题一:配置host文件过程过于简洁
        1.用sudo ifconfig eth0 192.168.**.**  重启后仍然是原有IP地址   
  我的配置过程如下,没有更改虚拟机的IP地址 
          用命令sudo gedit /etc/network/interfaces  进入文本界面输入 
          auto eth0
          iface eth0 inet dhcp //指定为dhcp

        保存退出,然后重启sudo /etc/init.d/networking restart 

          ps:期间尝试通过修改为static方式  修改IP地址但出现可以ping通但不能访问外网的问题

        2.sudo gedit  /etc/hosts  进行host的配置

问题二:配置ssh免密码连入  问题较多

        1.文中用的是dsa加密方式  我采用的是rsa加密  命令行输入不通之处在于ssh-keygen -t rsa -P ""

        2.文中步骤(3)操作过程中 不能照搬  注意***@***  的更改

        3.若在配置ssh免密码连入过程中出现端口22连不通的问题,则首先需要解决两台电脑间能否ping通的           问题 具体可参照我的博文《ubuntu 配置IP地址及修改——Hadoop安装ssh过程中出现的问题解决》


问题三:配置过程五 
        1.java的配置一定要根据自己的实际情况  选择安装路径
        2.各种site文件的配置要根据自己的实际安装路径配置

问题四:超级欣赏步骤八 向各节点复制hadoop  超级方便  若在此处出现问题  请检查主机和从机是否能ssh免         密码连入

问题五:格式化nodename过程中若报错 则尝试进入自己的hadoop下输入如下指令bin/hadoop namenode -format

问题六:步骤十中如上若出差则尝试进入自己的hadoop下输入如下指令bin/start-all.sh

问题七:jps指令输入后  The program 'jps' can be found in the following packages:
        * openjdk-6-jdk
        * openjdk-7-jdk
        Ask your administrator to install one of them
        则输入如下内容sudo apt-get install openjdk-7-jdk(ps:我的是java7)
就此 我的hadoop完全分布式平台成功搭建   哈哈   好开心的说

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/22669980/viewspace-1114309/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-10-08

最新文章