Hadoop 1.0.3 在CentOS 6.2上安装过程 [个人安装通过的全程记录] 。

//安装SSH 

[root@localhost /]# sudo yum install ssh

//生成密钥 

[root@localhost /]# ssh-keygen 

（可以一路回车）

生成下面两个文件：

/root/.ssh/id_rsa

/root/.ssh/id_rsa.pub

[root@localhost .ssh]# cat ./id_rsa.pub>>./authorized_keys

[root@localhost .ssh]# cd /home

//配置JDK环境变量 

[root@localhost opt]# vi /etc/profile

export JAVA_HOME=/opt/jdk1.6.0_31

export PATH=$JAVA_HOME/bin:$PATH:.

//使配置生效

[root@localhost opt]# source /etc/profile

//安装Hadoop 1.0.3 

[root@localhost opt]# rpm -i Hadoop-1.0.3-1.x86_64.rpm

//查看安装后的Hadoop版本号信息

[root@localhost opt]# Hadoop version

修改Hadoop配置文件（/etc/hadoop）

[root@localhost hadoop]# vi hadoop-env.sh

export JAVA_HOME=/opt/jdk1.6.0_31

[root@localhost Hadoop]# vi core-site.xml

fs.default.name

hdfs://localhost:9000

Hadoop.tmp.dir

/hadoop

[root@localhost Hadoop]# vi hdfs-site.xml

dfs.replication

1

[root@localhost Hadoop]# vi mapred-site.xml

mapred.job.tracker

localhost:9001

//格式化文件系统 

[root@localhost opt]# Hadoop namenode -format

//启动Hadoop相关的所有服务 

[root@localhost sbin]# start-all.sh

（如果没有执行权限，需要将/usr/sbin目录下的相关sh文件设置执行权限）

说明：

start-all.sh

stop-all.sh

start-dfs.sh

stop-dfs.sh

start-mapred.sh

stop-mapred.sh

 //jps查看已经启动的服务进程信息

[root@localhost Hadoop]# jps

5131 NameNode

5242 DataNode

5361 SecondaryNameNode

5583 TaskTracker

5463 JobTracker

6714 Jps

【注：以上服务进程必须要启动，有时候碰到namenode没有启动的情况，需要stop-all.sh，然后重新格式化文件系统 hadoop namenode -format】，然后start-all.sh【配置文件务必不能出错，之前因为配置文件无法启动namenode服务】

(访问 http://192.168.1.101:50070  http://192.168.1.101:50030)

[root@localhost Hadoop]# hadoop dfsadmin -report

跑wordcount

1、准备需要进行wordcount的文件

sudo gedit /tmp/test.txt

(打开后随便输入一些内容，如"mu ha ha ni da ye da ye da"，然后保存退出）

2、将准备的测试文件上传到dfs文件系统中的firstTest目录下

Hadoop dfs -copyFromLocal /tmp/test.txt firstTest

（注：如dfs中不包含firstTest目录的话就会自动创建一个，关于查看dfs文件系统中已有目录的指令为"Hadoop dfs -ls")

3、执行wordcount

hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar wordcount firstTest result

（注：此语句意为“对firstTest下的所有文件执行wordcount，将统计结果输出到result文件夹中”，若result文件夹不存在则会自动创建一个）

4、查看结果

Hadoop dfs -cat result/part-r-00000

（注：结果文件默认是输出到一个名为“part-r-*****”的文件中的，可用指令“Hadoop dfs -ls result”查看result目录下包含哪些文件）

至此单节点环境搭建完成！

Hadoop环境搭建——集群篇 见 http://www.linuxidc.com/Linux/2012-03/56692.htm

--------------------------分割线--------------------------

执行bin/Hadoop dfs -put urls urls这个的时候报错~Bad connection to FS. command aborted.
解决：

System.err.println("Version Mismatch between client and server ... command aborted.");