hadoop2.3 配置（三）

独立运行namenode、datanode、secondarynamenode、resourcemanager、nodemanager

为了增加集群的容错性，我们不能将namenode、datanode、secondarynamenode放在一起，需要将它们分开部署，这样使得我们不可以直接使用start-dfs.sh与start-yarn.sh命令启动了。需要以下的命令分别在不同的机器上执行：

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

hadoop-daemon.sh start secondarynamenode

在hadoop 2.0以前我们可能会使用这样的一类命令:start jobtracker。2.0以后hadoop将jobtracker与tasktracker以YARN来代替，所以resourcemanager与nodemanager的启动命令：

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

我们可以这样分配：namenode与resourcemanager放在一起，secondarynamenode单独运行，datanode与nodemanager在每台salve服务器上运行。

增加与删除slave

部署hadoop，与之前的一样；修改hosts文件、确认hostname；修改namenode，增加节点ip；配置文件与集群中的保持一致；增加ssh认证，并将之前的认证追加到新节点认证文件内容中；在新节点上执行：hadoop-daemon.sh与yarn-daemon.sh start nodemanager。

删除节点需要修改hdfs-site.xml文件。

　　dfs.hosts.exclude

　　/home/username/hadoop_space/excludes

　　Names a file that contains a list of hosts that are

　　not permitted to connect to the namenode. The full pathname of the

　　file must be specified. If the value is empty, no hosts are

　　excluded.

在excludes文件内容为每个需要下线的机器，一行一个。这个将阻止他们去连接NameNode。然后执行命令: hadoop dfsadmin –refreshNodes，这样会强制重新加载配置，会在后台进行Block块的移动。等待刚刚的操作结束后，需要下架的机器就可以安全的关闭了。hadoop dfsadmin -report可以查看到现在集群上连接的节点。再次编辑excludes文件，一旦完成了机器下架，它们就可以从excludes文件移除了。登录要下架的机器，会发现DataNode进程没有了，但是nodemanager依然存在，需要手工处理一下。

注：增加我试过了，但是删除没有试过，大家可以自己试试，结果告诉我。

均衡(balance)block

在每次增加完slave后，新节点机的内容是空的，当再次增加数据时，会把新数据都放在这个新节点机上，这样会降低mapred的工作效率。我们可以用命令：start-balancer.sh来均衡数据块。

设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长。

start-balancer.sh -threshold 5

设置balance的带宽，默认只有1M/s。

dfs.balance.bandwidthPerSec

1048576

Specifies the maximum amount of bandwidth that each datanode

can utilize for the balancing purpose in term of

the number of bytes per second.

该配置在hdfs-site.xml中设置。