ITPub博客

首页 > 大数据 > Hadoop > Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向

Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向

原创 Hadoop 作者:hackeruncle 时间:2016-03-05 21:19:01 0 删除 编辑

一.环境

 

IP

Host 及安装软件

部署模块

进程

172.16.101.55

sht-sgmhadoopnn-01

hadoop

NameNode

ResourceManager

NameNode

DFSZKFailoverController

ResourceManager

172.16.101.56

sht-sgmhadoopnn-02

hadoop

NameNode

ResourceManager

NameNode

DFSZKFailoverController

ResourceManager

172.16.101.58

sht-sgmhadoopdn-01

hadoopzookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.59

sht-sgmhadoopdn-02

Hadoopzookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.60

sht-sgmhadoopdn-03

Hadoopzookeeper

DataNode

NodeManager

Zookeeper

DataNode

NodeManager

JournalNode

QuorumPeerMain

172.16.101.66

sht-sgmhadoopdn-04(add/del)

Hadoop

DataNode

NodeManager

DataNode

NodeManager


###当前环境是hadoop-2.7.2+zookeeper-3.4.6完全分布式环境,HDFS HA+YARN HA。
在hdfs-site.xml文件中,dfs.replication为3。          
             
                 dfs.replication
                 3
              

#下面均采取动态添加、删除节点方式,而不是静态方式(相当于起初部署集群一样,停止namenode,新增一个datanode数据节点,这种方法不适合用于线上提供服务的场景,具体操作,查看参考链接)。


二.动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】

http://blog.itpub.net/30089851/viewspace-2055168/


三.添加DataNode节点后,更改文件复制策略dfs.replication
http://blog.itpub.net/30089851/viewspace-2047825/

四.动态删除DataNode和NodeManager节点(修改dfs.replication) 【终极版】
http://blog.itpub.net/30089851/viewspace-2049648/

五.参考
http://my.oschina.net/leoleong/blog/477508

http://www.aboutyun.com/thread-7532-1-1.html

http://www.wtoutiao.com/p/Z24iFG.html

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/30089851/viewspace-2043018/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
主要从事大数据平台产品的技术工作; 负责基于Spark、Flink生产开发及性能调优; 负责对公司的集群的部署、监控、调优和运营; 主导我司的数据平台0到1及实时中间件项目开发; 此外,精通Java、Shell、Python编程; 且荣获2016年IBM的Spark大赛全球第四名,中国区域第一名。

注册时间:2015-01-03

  • 博文量
    187
  • 访问量
    318797