ITPub博客

首页 > 大数据 > Hadoop > Hadoop完全分布式模式的安装和配置

Hadoop完全分布式模式的安装和配置

原创 Hadoop 作者:541732025 时间:2013-09-01 14:09:15 0 删除 编辑
一,配置Host文件
配置不同节点对应的ip
在生产环境下,成百上千的机器,不可能一个一个的去修改host文件,解决的方法是通过DNS服务器,
在Linux中通过安装bind来实现DNS服务器,安装好之后,在/etc/resolv.conf中添加nameserver 来指定DNS服务器的地址,
最后,通过nslookup来检测DNS服务器是否安装成功。

二,建立Hadoop运行帐号
每一个节点新建一个账号

三,配置ssh免密码连入
1,ssh-keygen -t rsa,在master节点的user目录下生成公钥与密钥,将公钥拷贝至slave节点user/.ssh目录下,重命名为authorized_keys,同样的操作在slave节点下也执行一次,这样就实现了master与slave互连免密码。
2,第一步只能保证master与slave互连免密码连入,但是后面启动hadoop时需要节点自己本身互连,所以还需要将每个节点.ssh下的id_rsa.pub拷贝至当前目录下的authorized_keys,这样,hadoop集群中有几个节点,authorized_keys中就有几个id_rsa.pub内容,所有节点都一样。
在生产环境中,需运用到NFS,如果hadoop用户的home目录在NFS文件系统中,则密钥可以通过键入以下指令在整个集群共享:%cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

四,下载并解压hadoop安装包
下载稳定版(1.1.2)

五,配置namenode,修改site文件
1,core-site.xml
指定namenode节点,以及hadoop临时目录(这个配置很重要,否则,hadoop默认将临时文件放到系统的临时文件/tmp下,当服务器重启,hadoop集群就全没了)

2,hdfs.site.xml
指定复制因子,有几个数据节点,就设置几
设置dfs.blocksize,默认64M
指定namenode,以及secdonaryNamenode获取元数据的位置

3,mapred-site.xml
设置jobtracker所在节点

六,配置hadoop-env.sh
主要配置JAVA_HOME、HADOOP_CLASSPATH等

七,配置master和slave文件
分别指定mater与slave的节点
master指定namenode、secondnameNode、jobtracker节点地址
slave指定dataNode、tasktracker
master、slave不需要在每个节点都指定,在nameNode节点上指定就可以了。当你往集群中增删节点,只需要改变nameNode上的master、slave即可

八,向各节点复制配置好的hadoop
无论是哪个节点,hadoop的配置都是一样的

九,启动Hadoop前应关闭防火墙
1,永久生效,重启后不会复原(相应地,配置重启生效)
chkconfig iptables on/off
2,即时生效,重启后复原(配置立马生效)
server iptables start/stop

十,格式化namenode
bin/hadoop namenode -format

十一,启动hadoop
bin/start-all.sh

十二,用jps检验各后台进程是否成功启动
master应该有NameNode、SecondaryNameNode、JobTracker这3个进程
slave应该有DataNode、TaskTracker这2个进程

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28912557/viewspace-772004/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2013-05-23

  • 博文量
    127
  • 访问量
    479167