ITPub博客

首页 > 大数据 > Hadoop > hadoop2.3 安装配置开发记录(四)

hadoop2.3 安装配置开发记录(四)

Hadoop 作者:cswu 时间:2014-03-14 11:57:53 0 删除 编辑

hadoop2.3 配置(三)

独立运行namenodedatanodesecondarynamenoderesourcemanagernodemanager

为了增加集群的容错性,我们不能将namenodedatanodesecondarynamenode放在一起,需要将它们分开部署,这样使得我们不可以直接使用start-dfs.shstart-yarn.sh命令启动了。需要以下的命令分别在不同的机器上执行:

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start secondarynamenode

hadoop 2.0以前我们可能会使用这样的一类命令:start jobtracker2.0以后hadoopjobtrackertasktrackerYARN来代替,所以resourcemanagernodemanager的启动命令:

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

我们可以这样分配:namenoderesourcemanager放在一起,secondarynamenode单独运行,datanodenodemanager在每台salve服务器上运行。

增加与删除slave

部署hadoop,与之前的一样;修改hosts文件、确认hostname;修改namenode,增加节点ip;配置文件与集群中的保持一致;增加ssh认证,并将之前的认证追加到新节点认证文件内容中;在新节点上执行:hadoop-daemon.shyarn-daemon.sh start nodemanager

删除节点需要修改hdfs-site.xml文件。

  dfs.hosts.exclude

  /home/username/hadoop_space/excludes

  Names a file that contains a list of hosts that are

  not permitted to connect to the namenode. The full pathname of the

  file must be specified. If the value is empty, no hosts are

  excluded.

excludes文件内容为每个需要下线的机器,一行一个。这个将阻止他们去连接NameNode。然后执行命令: hadoop dfsadmin –refreshNodes,这样会强制重新加载配置,会在后台进行Block块的移动。等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了。hadoop dfsadmin -report可以查看到现在集群上连接的节点。再次编辑excludes文件,一旦完成了机器下架,它们就可以从excludes文件移除了。登录要下架的机器,会发现DataNode进程没有了,但是nodemanager依然存在,需要手工处理一下。

注:增加我试过了,但是删除没有试过,大家可以自己试试,结果告诉我。

均衡(balance)block

在每次增加完slave后,新节点机的内容是空的,当再次增加数据时,会把新数据都放在这个新节点机上,这样会降低mapred的工作效率。我们可以用命令:start-balancer.sh来均衡数据块。

设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长。

start-balancer.sh -threshold 5

设置balance的带宽,默认只有1M/s

dfs.balance.bandwidthPerSec

1048576

Specifies the maximum amount of bandwidth that each datanode

can utilize for the balancing purpose in term of

the number of bytes per second.

该配置在hdfs-site.xml中设置。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/11702/viewspace-1119561/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论