1.安装jdk,可在/usr下,用root权限“sudo
-i”
解压:tar
–zxvf
jdk-7u4-linux-i586.tar.gz
配置/etc/profile
export
JAVA_HOME=/usr/java/jdk1.7.0_04
export JRE_HOME=/usr/java/jdk1.7.0_04/jre
export
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
安装配置完成,java -version 查看
2.安装ssh
(1).下载并安装ssh
$ sudo apt-get install
ssh
(如果是root直接敲apt-get
install ssh)
(你可以在指定目录,我安装在默认目录/root/.ssh)
(2). 先实现本机无密码通信
首先生成密钥:$
ssh-keygen -t dsa -P “”
$ cd .
ssh
再将id_dsa.pub追加到authorized_keys中去:cat
id_dsa.pub >>
~/.ssh/authorized_keys
(3).检查是否成功
$ ssh
localhost如果不需要密码输入,说明OK了,否则重新再弄。。
退出ssh是exit
3.关闭防火墙
sudo
ufw disable(在配置集群是这一步是必须的,伪分布式不关也没事,可以略过)
4.安装.hadoop
( 1). 解压到指定的目录下(作者把他安装在了/usr/local/hadoop):
$ tar –zvxf
hadoop-0.20.2.tar.gz
把 Hadoop 的安装路径添加到环/etc/profile 中(方法和配置JDK相同):
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
(2). 配置
hadoop(很重要)
hadoop 的主要配置都在 hadoop-0.20.2/conf
下。
(1)在 conf/hadoop-env.sh 中配置 Java 环境(namenode 与 datanode 的配置相同):
$ gedit
hadoop-env.sh
在弹出的gedit中找到export
JAVA_HOME=将你的java_home路径输入:
export
JAVA_HOME=/usr/java/jdk1.7.0_04
(2)配置 conf/core-site.xml, conf/hdfs-site.xml
及 conf/mapred-site.xml
core-site.xml
在/hadoop/conf下
$ vi
conf/core-site.xml
hadoop.tmp.dir
/usr/hadoop-0.20.2/tmp
A base for other temporary directories.
fs.default.name
hdfs://localhost:9000 #注意:9000是namenode的监听端口
hdfs-site.xml:(
replication 默认为
3,如果不修改,datanode 少于三台就会报错)
dfs.replication
1
mapred-site.xml:
mapred.job.tracker
localhost:9001
#注意:9001是jobtracker的监听端口
(6). 运行hadoop
首先格式化文件系统:$ hadoop namenode –format
启动 Hadoop:$ start-all.sh
用 jps 命令查看进程,NameNode 上的结果如下
3540 TaskTracker
3002 DataNode
3224 SecondaryNameNode
4987 Jps
2829 NameNode
3383 JobTracker
TaskTracker
DataNodeSecondaryNameNode
NameNodeJobTracker这5个都出现说明hadoop安装成功,否则如上步骤看哪里有问题
web方式查看:namenode的web访问端口是50070,用web方式访问namenode,在浏览器键入地址:http://localhost:50070,出现如下结果。
而9001也是可以用web方式来访问的,由于namenode和jobtracker是设置在同一台机器上的,网址是http://localhost:50030,出现