ITPub博客

首页 > 大数据 > Hadoop > 最新hadoop2.3的安装配置

最新hadoop2.3的安装配置

Hadoop 作者:我是后 时间:2014-03-04 19:42:04 0 删除 编辑

上个月hadoop低调发布了2.3版本,今天闲来无事配置了一下,发现新版hadoop目录结构和启动方式有了

一些不同,记录如下:

1.到hadoop官网下载最新版本 hadoop-2.3.0.tar.gz
2.拷贝并解压到本机目录,我是放在 /usr/local/目录下
  解压后目录结构如下:
最新hadoop2.3的安装配置

  bin目录下是hadoop、hdfs、yarn的命名文件
  sbin目录下是脚本文件,今后经常用到的启动、停止脚本在这里
  配置文件在 hadoop/etc/hadoop下,晕

3.修改基本配制文件/etc/profile   #添加hadoop变量,如下
  HADOOP_HOME=/uar/local/hadoop/
  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  export HADOOP_HOME PATH

4.在hadoop-env.sh文件中设置jdk路径,该配置文件在hadoop/etc/hadoop下
  export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

5.如果有slave节点,则修改slave配置文件,也在hadoop/etc/hadoop下,
  把默认的localhost替换为实际的slave节点,如:
   hadoop-slave1
   hadoop-slave2

6.修改配置文件core-site.xml

< configuration >
 < property >
  < name > fs.default.name < /name >
  < value > hdfs://localhost:9000 < /value >
 < /property >
 < property >
   < name > hadoop.tmp.dir < /name >
   < value > /home/hadoop/program/tmp-${user.name} < /value >
 < /property >
< /configuration >


7.修改配置文件dfs-site.xml
 < configuration >
  < property >
    < name > dfs.namenode.name.dir< /name > #就是原来的dfs.name.dir
    < value > file:/home/hadoop/dfs/name < /value >
  < /property >
  < property >
    < name > dfs.namenode.data.dir < /name > #原来的dfs.data.dir
    < value > file:/home/hadoop/dfs/data < /value >
  < /property >
  < property >
    < name > dfs.replication < /name > #副本数量,根据实际情况填写
    < value > 1 < /value >
  < /property >
< /configuration >

 

8.修改配置文件yarn-site.xml
初次试验,默认即可

9.修改配置文件mapred-site.xml
初次试验,默认即可

10.格式化文件系统
  执行bin下面的 hdfs namenode -format #切换到hadoop用户
  结果如下:

最新hadoop2.3的安装配置

11.启动HDFS文件系统
  执行 sbin/目录下的脚本 start-dfs.sh
  我是单节点部署,所以结果如下:

最新hadoop2.3的安装配置

12.用java的jps命令看看各进程是否启动
  结果如下:

最新hadoop2.3的安装配置

13.执行start-yarn.sh启动Yarn,并查看是否启动成功
  结果如下:

最新hadoop2.3的安装配置

14. 用浏览器查看资源(http://localhost:8088)

最新hadoop2.3的安装配置

最新hadoop2.3的安装配置

15. 用浏览器查看HDFS状态(http://localhost:50070)

  最新hadoop2.3的安装配置


16. 最后用stop-dfs.sh和stop-yarn.sh脚本停止运行

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/23183224/viewspace-1114283/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-01-14