上个月hadoop低调发布了2.3版本,今天闲来无事配置了一下,发现新版hadoop目录结构和启动方式有了
一些不同,记录如下:
1.到hadoop官网下载最新版本 hadoop-2.3.0.tar.gz
2.拷贝并解压到本机目录,我是放在 /usr/local/目录下
解压后目录结构如下:

bin目录下是hadoop、hdfs、yarn的命名文件
sbin目录下是脚本文件,今后经常用到的启动、停止脚本在这里
配置文件在 hadoop/etc/hadoop下,晕
3.修改基本配制文件/etc/profile
#添加hadoop变量,如下
HADOOP_HOME=/uar/local/hadoop/
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME PATH
4.在hadoop-env.sh文件中设置jdk路径,该配置文件在hadoop/etc/hadoop下
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
5.如果有slave节点,则修改slave配置文件,也在hadoop/etc/hadoop下,
把默认的localhost替换为实际的slave节点,如:
hadoop-slave1
hadoop-slave2
6.修改配置文件core-site.xml
< configuration >
< property >
< name > fs.default.name < /name
>
< value > hdfs://localhost:9000 <
/value >
< /property >
< property >
< name > hadoop.tmp.dir
< /name >
< value >
/home/hadoop/program/tmp-${user.name} < /value >
< /property >
< /configuration >
7.修改配置文件dfs-site.xml
< configuration >
< property >
< name
> dfs.namenode.name.dir< /name > #就是原来的dfs.name.dir
< value
> file:/home/hadoop/dfs/name < /value >
< /property >
< property >
< name
> dfs.namenode.data.dir < /name > #原来的dfs.data.dir
< value
> file:/home/hadoop/dfs/data < /value >
< /property >
< property >
< name
> dfs.replication < /name > #副本数量,根据实际情况填写
< value
> 1 < /value >
< /property >
< /configuration >
8.修改配置文件yarn-site.xml
初次试验,默认即可
9.修改配置文件mapred-site.xml
初次试验,默认即可
10.格式化文件系统
执行bin下面的 hdfs namenode -format
#切换到hadoop用户
结果如下:

11.启动HDFS文件系统
执行 sbin/目录下的脚本 start-dfs.sh
我是单节点部署,所以结果如下:

12.用java的jps命令看看各进程是否启动
结果如下:

13.执行start-yarn.sh启动Yarn,并查看是否启动成功
结果如下:

14. 用浏览器查看资源(http://localhost:8088)


15. 用浏览器查看HDFS状态(http://localhost:50070)

16. 最后用stop-dfs.sh和stop-yarn.sh脚本停止运行