ITPub博客

首页 > 大数据 > 数据挖掘 > Ubuntu12.04下安装hadoop1.0.4

Ubuntu12.04下安装hadoop1.0.4

数据挖掘 作者:331458 时间:2013-05-13 23:52:57 0 删除 编辑

Ubuntu12.04下安装hadoop1.0.4

  首先声明:如果能通过官方文档安装就尽量用官方的方法。

 环境:  linux :ubuntu 12.04

    jdk:1.7.0_17

 jdk安装:

       1,在官网下载最新jdk后,解压

      tar -zxvf jdk....

      2(可省),把jdk放在/usr下

      cp jdk /usr

      3,修改/etc/profile :添加

    


export JAVA_HOME=/usr/jdk1.7.0_17  
export JRE_HOME=/usr/jdk1.7.0_17/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

   注意:JAVA_HOME,JRE_HOME应该是你解压后jdk文件的位置

   4,查看是否安装成功


source /etc/profile
java -version

安装成功应该可以看到类似的,否则重新再安装一遍把 


java version "1.7.0_17"
Java(TM) SE Runtime Environment (build 1.7.0_17-b02)
Java HotSpot(TM) Server VM (build 23.7-b01, mixed mode)

 

2,SSH安装


sudo apt-get install ssh
sudo apt-get install rsync 

 

3,安装hadoop1.0.4

    1,下载,解压,(改名,放置)。

     2,修改  hadoop1.0.4下conf/hadoop-env.sh中的JAVA_HOME (和jdk上面的一样)

     3,在hadoop1.0.4文件夹下,输入 bin/hadoop (This will display the usage documentation for the hadoop script.)

   

     1,Local (Standalone) Mode测试  

 在hadoop目录下,最好带sudo。


$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
$ cat output/*

     2,Pseudo-Distributed Mode

         1,修改配置文件

           conf/core-site.xml:

   



     
         fs.default.name
         hdfs://localhost:9000
     

        conf/hdfs-site.xml:



     
         dfs.replication
         1
     

     conf/mapred-site.xml:



     
         mapred.job.tracker
         localhost:9001
     

       2,设置ssh

    ssh localhost

    ssh localhost这需要密码,如果去掉密码的话就需要命令:

  


ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

     3,格式化namenode

   明显在hadoop目录下


bin/hadoop namenode -format

    4,启动hadoop守护进程(the hadoop daemons)

  


bin/start-all.sh

  5,查看是否配置成功

 6,关闭守护进程

  


bin/stop-all.sh

 

 

总结:1,自己整个安装过程中,重装一次ubuntu,重装n次jdk,第一次安装ssh时非常混乱。

2,不要迷信网上的安装博客,尽量按照官方文档安装。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/21181786/viewspace-1120649/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-03-22