ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 学习一:hadoop 1.0.1集群安装

学习一:hadoop 1.0.1集群安装

原创 Linux操作系统 作者:yezhibin 时间:2012-03-21 14:05:41 0 删除 编辑
用vmware搭建三台Linux虚拟机,具体步骤如下:

1、hadoop下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/core/

2、下载java6软件包,分别在三台安装

3、三台虚拟机,一台作为master,另外两台作为slave,分别配置/etc/hosts

    172.16.130.136   masternode
    172.16.130.137  slavenode1
    172.16.130.138  slavenode2

4、在三台主机/etc/profile设置环境变量

export JAVA_HOME=/usr/java/jdk1.6.0_13
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export HADOOP_HOME=/home/hduser/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

5、在三台机器上建立hadoop用户和组
    groupadd hadoop
    useradd -g hadoop hduser

6、在masternode节点创建SSH安全认证
 $ ssh-keygen -t rsa -P ""
 $cd .ssh
 $ cat id_rsa.pub>>authorized_keys
 $ssh masternode
 $ssh slavenode1
 $ssh slavenode2
将授权的文件分别拷贝到slavenode1和slavenode2,检查ssh登陆主机是否需要密码。

7、上传hadoop软件包到hadoop用户目录下解压
  tar xvf hadoop*.gz
 
8、添加$HADOOP_HOME/conf/hadoop-env.sh
   export JAVA_HOME=/usr/java/jdk1.6.0_13

9、编辑$HADOOP_HOME/conf/core-site.xml

 
   hadoop.tmp.dir
   /home/hduser/hadoop/tmp
   .
 

 
   fs.default.name
   hdfs://masternode:54310
  
 



10、编辑$HADOOP_HOME/conf/mapred-site.xml


  mapred.job.tracker
  masternode:54311
 
 



11、编辑$HADOOP_HOME/conf/hdfs-site.xml


  dfs.replication
  3
  .



12、编辑$HADOOP_HOME/conf/masters
 masternode

13、编辑$HADOOP_HOME/conf/slaves
slavenode1
slavenode2

14、在所有机器上创建/home/hduser/hadoop/tmp

15、拷贝masternode上$HADOOP_HOME文件拷贝到各个节点上

16、在masternode进行格式化
 hadoop -namenode -format

17、启动
  start-all.sh
  jps命令查看

18、访问masternode http://172.16.130.136:50030
         访问slavenode http://172.16.130.137:50060

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/354732/viewspace-719180/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-12-18

  • 博文量
    159
  • 访问量
    505800