伪分布式模式的安装和配置步骤

在安装hadoop之前需要先安装好Linux虚拟机或者是在安装好Linux的机器上安装好jdk，目前hadoop所有版本都是建立在jdk1.6以上所以要安装1.6或者更高版本的jdk应该就都没有问题。在安装jdk的过程中我也遇到了很多问题，老的jdk怎么卸载或者是新的jdk环境变量是怎么配置怎么测试环境等等，但是在这里就不多叙述了，因为这里主要想做个hadoop安装的学习笔记有需要的人也可以参考一下。

1、下载hadoop版本的tar.gz文件，具体下载地址可以到apache官网或者网络上搜索一下就可以找到，我下载的版本是0.20.2，因为这个版本的书籍和参考资料比较多便于学习。

2、解压hadoop的文件，进入hadoop的解压目录编辑conf/hadoop-env.sh文件。

# The java implementation to use. Required.

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

将# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 的#号去掉，将java的安装路径替换成本

机自己安装的路径。

3、编辑core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件。

core-site.xml文件

fs.default.name

hdfs://localhost:9000

注：完全分布模式下需要将localhost改成对应的主机地址。

hdfs-site.xml文件

dfs.data.dir

/usr/hadoop-0.20.2/data

dfs.replication

1

dfs.data.dir项代表的是数据存放路径

dfs.replication项代表的是数据冗余备份的数目，完全分布模式下可改成需要设置的数目。

mapred-site.xml文件

mapred.job.tracker

localhost:9001

4 SSH生成密钥对，SSH无密码访问控制。

具体原理暂时也不写了只是做个操作的笔记。

5 格式化HDFS 进入hadoop bin目录执行 hadoop namenode -format

至此完成了hadoop的安装和配置。

ITPub博客

hadoop 伪分布式模式的安装和配置步骤