Hadoop配置方法

系统：ubuntu-12.04.2-desktop-i386.iso

Jdk：jdk-6u35-linux-i586.bin

Hadoop：hadoop-1.0.4

注：配置过程中所有机器的用户名和密码保持一致

1、安装ubuntu

首先要保证有至少20G左右的磁盘被压缩出来且没被设置卷标

先安装easybcd2.2（xp下不能装，win7下使用）

将ubuntu-12.04.2-desktop-i386.iso文件复制到C盘根目录，用压缩软件打开，再打开casper目录，把initrd.lz、vmlinuz这两个文件解压到C盘根目录下。

运行EasyBCD 点击添加新条目->NeoGurb->安装->配置

输入以下：

root

kernel /vmlinuz iso-scan/filename=/ubuntu-12.04.2-desktop-i386.iso boot=casper splash

initrd /initrd.lz

boot

重启电脑，进入安装界面

首先在命令端口输入：sudo umount -l /isodevice

然后双击安装程序

在安装类型选其他，然后选择空闲分区，先分5G左右的交换分区，剩下的用于ext4日志文件系统，挂载点选“/”

2、离线安装sshd

安装zlib->openssl->openssh

tar -xzvf zlib-1.2.7.tar.gz

cd zlib-1.2.7

./configure

make

sudo make install

cd ..

tar –xzvf openssl-1.0.0h.tar.gz

cd openssl-1.0.0h

./configure

make

sudo make install

cd ..

tar –xzvf openssh-6.0p1.tar.gz

cd openssh-6.0p1

./configure

make

sudo gedit /etc/passwd

添加：sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin

sudo make install

3、安装jdk

sudo chmod u+x jdk-6u35-linux-i586.bin

./ jdk-6u35-linux-i586.bin

配置环境

sudo gedit /etc/environment

PATH=”:/home/bingyu/jdk1.6.0_35/bin”

CLASSPATH=”/home/bingyu/jdk1.6.0_35/lib”

JAVA_HOME=”/home/bingyu/jdk1.6.0_35”

保存退出

sudo update-alternatives --install /usr/bin/java java /home/bingyu/jdk1.6.0_35/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /home/bingyu/jdk1.6.0_35/bin/javac 300

sudo update-alternatives --config java

至此jdk配置完成，可以输入java –version看是否成功

4、 ssh配置

在namenode（主机）操作：

在/home/bingyu目录下mkdir .ssh

在namenode生成密钥对

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys（完成了主机的本机无密码登陆配置）

注：.ssh目录权限设700，authorized_keys权限600:

chmod 700 /home/bingyu/.ssh

chmod 600 /home/bingyu/.ssh/ authorized_keys

scp /home/bingyu/.ssh/id_dsa.pub bingyu@10.1.9.99:/home/bingyu

（主机将公钥发送给某个ip从机，先保证此从机的sshd服务要开启）

登陆那个ip的从机，执行

cat /home/bingyu/id_dsa.pub >> /home/bingyu/.ssh/authorized_keys

注：从机的.ssh目录权限设700，authorized_keys权限600:

chmod 700 /home/bingyu/.ssh

chmod 600 /home/bingyu/.ssh/ authorized_keys

至此，主机本机无密码登陆和对从机的无密码登陆设置完成，可以ssh 10.1.9.99看登陆是否需要密码（第一次可能需要）

5、其他注意

主从机的bin/hadoop要有执行权限

chmod u+x /home/bingyu/hadoop-1.0.4/bin/hadoop

要是datanode无法开启，注意检查namenode和datanode的version是否一样，如果不一样将datanode的version改成和namenode一样（每次执行./hadoop namenode –format后，namenode的version被更新，datanode的version没被更新，或者执行前将/home/bingyu下的dfs目录删去再执行format）

每台机器的/etc/hosts 文件中都得将hostname写入

地址：http://blog.sina.com.cn/s/blog_638b79ad0101mo1x.html

ITPub博客

ubuntu上配置安装hadoop小记