ITPub博客

首页 > 大数据 > Hadoop > hadoop1.2.1伪分布式安装-笔记

hadoop1.2.1伪分布式安装-笔记

Hadoop 作者:liumm0609 时间:2013-08-14 09:28:37 0 删除 编辑

1.安装JDK
 ①配置环境变量
    打开  vim  /etc/profile  
    在最后一行输入一下字段

    hadoop1.2.1伪分布式安装-笔记
    配置hadoop环境变量
    hadoop1.2.1伪分布式安装-笔记
    然后运行 source /etc/profile  使配置生效
    最后测试 java -version
    hadoop1.2.1伪分布式安装-笔记
 
2.安装SSH

 

 

hadoop1.2.1伪分布式安装-笔记

hadoop1.2.1伪分布式安装-笔记

以上两张图片是在我的SSH时效时重新弄得,弄的好痛苦,弄了两个多小时,这么小的问题。hadoop1.2.1伪分布式安装-笔记


  用 rpm -qa |grep openssh
     rpm -qa |grep rsync 
  查询是否安装已经安装了ssh和sync 会有如下显示:

 hadoop1.2.1伪分布式安装-笔记
hadoop1.2.1伪分布式安装-笔记

如果没有请安装
hadoop1.2.1伪分布式安装-笔记
接下来输入命令:
  ssh-keygen -t dsa -P '' -f~/.ssh/id_dsa   生成密钥
 
   (:'' 为单引号;我自己用这个命令不好使,不知道怎么回事,网上有好多是输入这个命令之后生成的,  如果不好使,''后面的就不要输入,看是否好使;另外,如需要输入密码直接默认回车就行因为要生成无密码登陆) 

    这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是SSH的一对私钥和公钥,类似于钥匙及锁,把id_dsa.pub(公钥)追加到授权的key里面去。

 输入命令:cat ~/.ssh/id_dsa.pub>>~/.ssh/suthorized_keys

 这段话的意思是把公钥加到用于认证的公钥文件中,这里的authorized_keys是用于认证的公钥文件。至此无密码登录本机已设置完毕。

验证SSH是否已安装成功,以及是否可以无密码登陆本机

 

 



   输入命令: ssh -version
   hadoop1.2.1伪分布式安装-笔记

   输入命令: ssh localhost
   hadoop1.2.1伪分布式安装-笔记


3.安装hadoop-1.2.1.tar.gz
 
hadoop1.2.1伪分布式安装-笔记
  将解压后的 hadoop-1.2.1 目录名改为  hadoop
  ③ 输入命令
     cd /hadoop   进入hadoop目录
     cd conf      进入conf目录
     vim hadoop-env.sh  在最后一行编辑
    
hadoop1.2.1伪分布式安装-笔记
  ④然后配置hadoop下的核心文件,这里配置的是HDFS的地址和端口号
     hadoop1.2.1伪分布式安装-笔记
     这是hadoop中HDFS的配置,配置的备份方式默认为3,在单机版的为1
     hadoop1.2.1伪分布式安装-笔记

    这是hadoop中MapRreduce的配置文件,配置的是JobTracker地址和端口
    hadoop1.2.1伪分布式安装-笔记
    ⑤启动hadoop之前先格式化hadoop的文件系统HDFS,进入hadoop文件夹,输入下面的命令:
    bin/hadoop namenode -format
    ⑥启动hadoop
     输入命令:bin/start-all.sh(全部启动)
    ⑦启动后输入 jps
      hadoop1.2.1伪分布式安装-笔记
      若成功,会看到namenode,secondarynamenode,datanode,jobtracker和tasktracker,jps6个进程。

     ⑧验证是否成功安装hadoop
      打开浏览器

       http://localhost:50030  (MapReduce的Web页面)
       http://localhost:50070 (HDFS的Web页面)
  
       如果能看,说明hadoop已经安装成功,恭喜!
hadoop1.2.1伪分布式安装-笔记



      小结:我总共安装过0.0版本 2.0版本最后按的1.0版本,前两个安装的过程中很纠结,不从下手,这回安装1.0版本,很顺手,在SSH那里出了点问题,剩下的就很顺,边安装边写这个安装过程,hadoop1.2.1伪分布式安装-笔记终于按明白了。。继续努力吧



    参考文献:
    http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
    http://my.oschina.net/mynote/blog/93735
    http://blog.csdn.net/god_wot/article/details/6831016

      

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/8782499/viewspace-1120037/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-10-05