ITPub博客

首页 > 大数据 > 数据挖掘 > Ubuntu下eclipse配置Hadoop教程( 上 )

Ubuntu下eclipse配置Hadoop教程( 上 )

数据挖掘 作者:pxandylove 时间:2013-03-15 20:47:36 0 删除 编辑

首先安装单机hadoop 1.0.3

1,安装ssh 
   
sudo apt-get install ssh
2,安装rsync
sudo apt-get install rsync
3,配置ssh免密码登录
 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys 
4,配置JDK环境和下载hadoop 1.0.3 
  
验证是否成功 ssh localhost
5,修改hadoop配置文件,指定JDk安装路径
   vi conf/hadoop-env.sh
   export JAVA_HOME=/home/app/jdk1.6.0_30
6,修改Hadoop核心配置文件core-site.xml,配置HDFS的地址和端口号
  vi conf/core-site.xml
   
        
             fs.default.name
               hdfs://localhost:9000   
            
   
7,修改Hadoop中HDFS的配置,修改replication
   vi conf/hdfs-site.xml
   
          
             dfs.replication         
         1
       
   
8,修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口 
   vi conf/mapred-site.xml
   
           
             mapred.job.tracker
            localhost:9001
          
   

9,格式化Hadoop的文件系统HDFS
   bin/hadoop namenode -format
10,启动hadoop
   bin/start-all.sh

最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
http://localhost:50030    (MapReduce的Web页面)
http://localhost:50070    (HDfS的web页面)
如果都能查看,说明安装成功。
<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/9956542/viewspace-1120641/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论