ITPub博客

首页 > 大数据 > Hadoop > 分布式Hadoop1.2.1集群的安装

分布式Hadoop1.2.1集群的安装

原创 Hadoop 作者:freshairpeng 时间:2014-03-20 11:15:12 0 删除 编辑
安装其实很简单,把下载下来的Hadoop文件拷贝到相应的目录下,然后接压缩即可,关键是先要安装好JDK,前期的Linux要配置好。
下面我把我的操作过程记录如下,供大家参考:

登录到HadoopSrv01机器上,进行如下操作:
1: su - grid
2: tar -xvf hadoop-1.2.1-bin.tar.gz
3: 解压缩后,会在/home/grid目录下 增加一个hadoop-1.2.1 目录
4: cd hadoop-1.2.1 创建tmp目录 mkdir tmp
5: cd conf目录,对hadoop-env.sh, core-site.xml, hdfs-site.xml,mapred-site.xml ,masters,slaves文件进行配置

6:修改hadoop-env.sh 文件,只需要设置 export JAVA_HOME=/usr/java/jdk1.8.0 即可,其他不需要修改。
7:修改core-site.xml 文件,增加以下内容

fs.default.name
hdfs://HadoopSrv01:9000


hadoop.tmp.dir
/home/grid/hadoop-1.2.1/tmp



8:修改hdfs-site.xml,根据你自己的datanode节点数,设置复制因子。


dfs.replication
2



9:修改mapred-site.xml文件

mapred.job.tracker
HadoopSrv01:9001


10:修改masters,slaves 增加namenode,datanode节点配置。
masters:
HadoopSrv01
slaves:
HadoopSrv02
HadoopSrv03

以上操作完毕后,就可以对Hadoop集群进行格式化,格式化的命令如下:

11: bin/hadoop namenode -format  记得要看清楚是否格式化成功

12:启动集群 bin/start-all.sh

13:检查各个节点 后台进程是否OK /usr/java/jdk1.8.0/bin/jps  正常应该包括以下后台进程:

NameNode,JobTracker,DataNode,TaskTracker

如果以上都能看到,就说明Hadoop分布式环境已经搭建OK。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/14766526/viewspace-1125679/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 漫画讲解HDFS原理
请登录后发表评论 登录
全部评论

注册时间:2009-02-25

  • 博文量
    69
  • 访问量
    247523