1.编辑host文件增加

 vim /etc/hosts

192.168.40.240     master
192.168.40.246     slave1
192.168.40.247     slave2

2.添加hadoop帐号
useradd -m hadoop
passwd hadoop

更改bash显示
vi /etc/passwd
hadoop:x:1002:1002::/home/hadoop:/bin/bash
su - hadoop

3.安装java环境
下载java
wget http://download.oracle.com/otn-pub/java/jdk/6u27-b07/jdk-6u27-linux-x64.bin
安装java
    cd /usr
    mkdir java
    cd
    cp jdk-6u27-linux-x64.bin /usr/java/
    chmod u+x /usr/java/jdk-6u27-linux-x64.bin
    alias ls='ls --color'
    cd /usr/java
    ls
    ./jdk-6u27-linux-x64.bin
配置profile
    vim /etc/profile
     export JAVA_HOME=/usr/java/jdk1.6.0_27
   export PATH=$JAVA_HOME/bin:$PATH
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
     export HADOOP_HOME=/home/hadoop/hadoop-1.0.0
     export PATH=$PATH:$HADOOP_HOME/bin

4.免密码ssh设置

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再把各个机器authorized_keys汇总到一个authorized_keys文件，替换掉各台机器的authorized_keys

验证ssh master

ssh slave1

ssh slave2无需输入密码

5.hadoop安装

下载hadoop

http://www.apache.org/dyn/closer.cgi/hadoop/common/

tar -xzvf hadoop-1.0.1.tar.gz

新建文件夹

mkdir -p /hadoopDATA/name

mkdir -p /hadoopDATA/data

mkdir -p /hadoopDATA/tmp

chown -R hadoop:hadoop /hadoopDATA/

master 上编缉配置文件夹

hdfs-site.xml

dfs.name.dir

/hadoopDATA/name

dfs.data.dir

/hadoopDATA/data

fs.replication

2

core-site.xml

hadoop.tmp.dir

/root/hadoopDATA/tmp

fs.default.name

hdfs://master:9000

hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-6-sun

masters

master

slaves

slave1

slave2

master

复制hadoop到各个集群

scp -r hadoop-1.0.1/ hadoop@slave1:/home/hadoop/

scp -r hadoop-1.0.1/ hadoop@slave2:/home/hadoop/

执行

格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format

启动Hadoop守护进程：
$ bin/start-all.sh

http://192.168.40.240:50070

http://192.168.40.240:50030

ITPub博客

分布式hadoop安装配置

执行

最新文章