Hadoop安装规划

下载jdk和hadoop

http://www.oracle.com

http://hadoop.apache.org/

安装jdk（所有节点）

免安装文件直接解压到当前目录即可：

[root@prac1 ~]# pwd

/root

[root@prac1 ~]# tar zxvf jdk-7u7-linux-x64.tar.gz

[root@prac1 ~]# ls jdk

jdk1.7.0_07/              jdk-7u7-linux-x64.tar.gz

[root@prac1 ~]# mv jdk1.7.0_07/ jdk

[root@prac1 ~]# mv jdk /usr/local/

然后修改/etc/profile：

export JAVA_HOME=/usr/local/jdk

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

保存，并执行 source /etc/profile 生效

配置host

Namenode的机器，需要配置集群中所有机器的ip

修改/etc/hosts

[root@prac1 ~]# vi /etc/hosts

127.0.0.1   localhost

::1         localhost6.localdomain6 localhost6

192.168.1.11 prac1

192.168.1.13 prac2

其他的datanode的/etc/hosts 只需要配置namenode的机器ip和本机ip

[root@prac2 ~]# vi /etc/hosts

127.0.0.1   localhost

::1         localhost6.localdomain6 localhost6

192.168.1.11 prac1

192.168.1.13 prac2

修改hostname(可选)

vi /proc/sys/kernel/hostname

建立ssh无密码登录

首先进到root目录下

在两个节点都执行如下操作

$ssh-keygen -t rsa

$ssh-keygen -t dsa

prac1

$cat .ssh/id_rsa.pub >> .ssh/authorized_keys

$cat .ssh/id_dsa.pub >> .ssh/authorized_keys

[root@prac1 ~]#  chmod 775 ~/.ssh/authorized_keys

注意以下两步要在prac1上进行，如果在prac2上进行，则信任关系建立不成功

$ssh prac2 cat .ssh/id_rsa.pub >>.ssh/authorized_keys

$ssh prac2 cat .ssh/id_dsa.pub >>.ssh/authorized_keys

scp .ssh/authorized_keys prac2:~/.ssh/

测试ssh

ssh prac1 date

ssh prac2 date

安装hadoop

[root@prac1 ~]# tar zxvf hadoop-0.21.0.tar.gz

[root@prac1 ~]# mv hadoop-0.21.0 hadoop

[root@prac1 ~]# mv hadoop /usr/local/hadoop

然后修改/etc/profile

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

配置hadoop

1.修改/usr/local/hadoop/conf/hadoop-env.sh，添加jdk支持   // 这个很重要

export JAVA_HOME=/usr/local/jdk

如果ssh端口不是默认的22，在conf/hadoop-env.sh里改下。如：

export HADOOP_SSH_OPTS="-p 1234"

2.修改conf/core-site.xml，增加下面内容

[root@srac1 conf]# mkdir -p /hadoop/hdfs/tmp   // 在两个节点上都建立

core-site.xml

fs.default.name

hdfs://srac1:9000

dfs.replication

1

hadoop.tmp.dir

/hadoop/hdfs/tmp

3.修改conf/hdfs-site.xml，增加下面内容

在所有节点上建立以下目录

mkdir -p /hadoop/hdfs/name

mkdir -p /hadoop/hdfs/data

dfs.name.dir

/data/hdfs/name

dfs.data.dir

/data/hdfs/data

dfs.datanode.max.xcievers

4096

dfs.replication

1

3.修改conf/mapred-site.xml，增加下面内容 

mapred-site.xml

mapred.job.tracker

srac1:9001

0