ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 分布式hadoop安装配置

分布式hadoop安装配置

原创 Linux操作系统 作者:sswgej 时间:2012-03-02 11:23:42 0 删除 编辑

1.编辑host文件增加
 vim /etc/hosts
192.168.40.240     master
192.168.40.246     slave1
192.168.40.247     slave2

2.添加hadoop帐号
 useradd  -m hadoop
 passwd hadoop

更改bash显示
 vi /etc/passwd
hadoop:x:1002:1002::/home/hadoop:/bin/bash
  su - hadoop

3.安装java环境
 下载java
 wget http://download.oracle.com/otn-pub/java/jdk/6u27-b07/jdk-6u27-linux-x64.bin
 安装java
    cd /usr
    mkdir java
    cd
    cp jdk-6u27-linux-x64.bin /usr/java/
    chmod u+x /usr/java/jdk-6u27-linux-x64.bin
    alias ls='ls --color'
    cd /usr/java
    ls
    ./jdk-6u27-linux-x64.bin

    配置profile
    vim /etc/profile
     export JAVA_HOME=/usr/java/jdk1.6.0_27
     export PATH=$JAVA_HOME/bin:$PATH
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
     export HADOOP_HOME=/home/hadoop/hadoop-1.0.0
     export PATH=$PATH:$HADOOP_HOME/bin

4.免密码ssh设置

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再把各个机器authorized_keys汇总到一个authorized_keys文件,替换掉各台机器的authorized_keys

验证ssh master

        ssh slave1

         ssh slave2无需输入密码


5.hadoop安装
    下载hadoop
     http://www.apache.org/dyn/closer.cgi/hadoop/common/
     tar -xzvf hadoop-1.0.1.tar.gz
     新建文件夹 
     mkdir -p /hadoopDATA/name
     mkdir -p /hadoopDATA/data
     mkdir -p /hadoopDATA/tmp
     chown -R hadoop:hadoop /hadoopDATA/
    

        master 上   编缉配置文件夹
   hdfs-site.xml
     
       
                dfs.name.dir
                /hadoopDATA/name
       
       
                dfs.data.dir
                /hadoopDATA/data
       
       
                fs.replication
                2
       
   
            
   core-site.xml
     
        <!-- global properties -->
       
        hadoop.tmp.dir
        /root/hadoopDATA/tmp
       
    <!-- file system properties -->
       
        fs.default.name
        hdfs://master:9000
       
   
     
      hadoop-env.sh
      export JAVA_HOME=/usr/lib/jvm/java-6-sun

        masters
        master
 
        slaves
        slave1
        slave2
        master

复制hadoop到各个集群
scp -r hadoop-1.0.1/ hadoop@slave1:/home/hadoop/
scp -r hadoop-1.0.1/ hadoop@slave2:/home/hadoop/

执行

格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

启动Hadoop守护进程:
$ bin/start-all.sh

http://192.168.40.240:50070       

http://192.168.40.240:50030      


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7301064/viewspace-717503/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 用户权限管理(ZT)
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2008-07-28

  • 博文量
    62
  • 访问量
    71382