Hadoop配置文档

一 节点描述

目前该hadoop系统包括一个主节点（master）和两个从节点（slave）。对应计算机名为：

master: cluster1

slave: cluster2,cluster3

在每台计算机上建立用户suodoop，其中cluster1同时担负namenode和jobtracker。

二 配置

1.       配置jdk(master,slaves)

第一步：下载jdk-7-linux-i586.tar.gzview plain

wget -c http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz

(注：如果下载不下来，建议使用迅雷下载，然后拷贝到Linux系统上。)
第二步：解压安装view plain

sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm

cd /usr/lib/jvm

sudo mv jdk1.7.0/ java-7-sun

第三步：修改环境变量

gedit ~/.bashrc

添加：

export JAVA_HOME=/usr/lib/jvm/java-7-sun

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

第四步：配置默认JDK版本由于ubuntu中可能会有默认的JDK，如openjdk，所以，为了将我们安装的JDK设置为默认JDK版本，还要进行如下工作。
执行代码:

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300

sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300 

执行代码：

sudo update-alternatives --config java

系统会列出各种JDK版本，如下所示：

snowdream@snowdream:~$ sudo update-alternatives --config java

第五步：测试

snowdream@snowdream:~$ java -version

java version "1.7.0"

Java(TM) SE Runtime Environment (build 1.7.0-b147)

Java HotSpot(TM) Server VM (build 21.0-b17, mixed mode)

第六步：配置profile文件

Sudo gedit /etc/profile

输入：

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:/home/suodoop/hadoop-1.0.3/bin$PATH

参见：http://hi.baidu.com/_bigbug/item/70441d13cd696f6971d5e8a6

2.       配置hosts(master,slaves)

Sudo gedit /etc/hosts

输入各个节点的ip,同时注释掉所有其他信息。

3.       配置hadoop(master,slaves)

第一步 将hadoop-1.0.3压缩文件放在/home/suodoo/下，解压到当前目录：

sudo tar zxvf /home/suodoop/hadoop-1.0.3.tar.gz

第二步 更改hadoop配置文件

1>    Sudo gedit /home/suodoop/hadoop-1.0.3/conf/hadoop-env.sh

输入：export JAVA_HOME=/usr/lib/jvm/java-7-sun

2>    Sudo gedit /home/suodoop/hadoop-1.0.3/conf/core-site.xml

输入：

1.     fs.default.name
2.     hdfs://cluster1:9000 
3.  
4.  
5.     dfs.replication
6.     1 
7.  
8.  
9.     Hadoop.tmp.dir
10.     /home/suodoop/hadoop-1.0.3/tmp 

3>    Sudo gedit /home/suodoop/hadoop-1.0.3/conf/ mapred-site.xml

输入：

1.  
2.    mapred.job.tracker 
3.    cluster1:9001
4.  

4>    Sudo gedit /home/suodoop/hadoop-1.0.3/conf/hdfs-site.xml

输入：

1. <property>
2.   <name>dfs.replicationname>
3.   <value>1value>
4. property>
5.  
6. <property>
7.   <name>dfs.name.dirname>
8.   <value>/home/suodoop/hadoop-1.0.3/hdfs/namevalue>
9. property>
10.  
11. <property>
12.   <name>dfs.data.dirname>
13.   <value>/home/suodoop/hadoop-1.0.3/hdfs/datavalue>
14. property>

5>    Sudo gedit /home/suodoop/hadoop-1.0.3/conf/masters

输入：cluster1

6>    Sudo gedit /home/suodoop/hadoop-1.0.3/conf/slaves

输入：cluster2 cluster3

4.配置ssh

 1> master

(1)装载ssh：sudo apt-get install openssh-server

(2)创建ssh-key：ssh-keygen -t rsa --P

(3)将此ssh-key添加到信任列表中，并启用此ssh-key

cat /home/suodoop/.ssh/id_rsa.pub >> /home/suodoop/.ssh/authorized_keys

sudo /etc/init.d/ssh reload

2>slaves

(1) 拷贝公钥

scp cluster1:/home/suodoop/.ssh/id_rsa.pub /home/suodoop/.ssh/master_rsa.pub

scp cluster1:/home/suodoop/.ssh/id_rsa.pub /home/suodoop/.ssh/jobtracker_rsa.pub

(2) 将拷贝的公钥添加到信任列表

cat /home/suodoop/.ssh/master_rsa.pub >> /home/suodoop/.ssh/authorized_keys

cat /home/suodoop/.ssh/jobtracker_rsa.pub >> /home/suodoop/.ssh/authorized_keys

(3)在JobTracker上拷贝master的公钥

scp cluster1:/home/suodoop/.ssh/id_rsa.pub /home/suodoop/.ssh/master_rsa.pub

cat /home/suodoop/.ssh/master_rsa.pub >> /home/suodoop/.ssh/authorized_keys

从cluster1分别登录cluster2,cluser3,如果能直接登录上则说明ssh配置成功。

5.启动hadoop

 Master:

 Sudo /home/suodoop/hadoop-1.0.3/bin/hadoop namenode –format

 Sudo /home/suodoop/hadoop-1.0.3/bin/start-all.sh

查看节点情况：jps

查看各节点信息：Sudo /home/suodoop/hadoop-1.0.3/bin/hadoop dfsadmin -report

参考文献：

http://www.linuxidc.com/Linux/2012-03/56691.htm