ITPub博客

首页 > 大数据 > Hadoop > Hadoop 版本演进

Hadoop 版本演进

Hadoop 作者:DicksonJYL560101 时间:2015-04-25 20:57:45 0 删除 编辑
Hadoop版本演进概况:


备注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题

         Yarm 分布式资源管理系统,解决JobTrack单点问题
        


1. hadoop 1.x 版本的生态系统:


2. hadoop 2.x版本的生态系统:



对于分布式系统和框架的架构来说,一般分为两部分:

第一部分:管理层(用于管理应用层)
第二部分:应用层 (工作的)


对于HDFS,分布式文件系统:

    NameNode:    属于管理层,用于管理数据的存储
    
    SecondNameNode:也属于管理层,用于辅助管理数据的存储

    DateNode:属于 应用层 ,用户进行数据存储,被NameNode管理,定时向NameNode进行工作汇报,执行NameNode分配分发的任务


对于MapReduce,分布式计算框架:

    JobTrack : 属于管理层,用于管理集群的资源,对集群的任务资源进行调度,并监控任务的执行。

    TaskTrack: 属于应用层,用于执行JobTrack分配分发的任务,并向JobTrack汇报执行情况。


对于hadoop 二代版本的yarm系统:
    NodeManager :属于管理层,节点管理
    
    ResourceManager:属于管理层, 资源管理

    DataNode:属于应用层,被NodeManager  和 ResourceManager管理,执行任务。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/29829936/viewspace-1601940/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 浅谈Hadoop
请登录后发表评论 登录
全部评论
行万里路,读万卷书,阅无数人。 吃货一枚,爱吃湘菜,川菜,粤菜与杭帮菜,尝遍天下美食。 摄影爱好者,游遍名川大山,江河胡海,赏遍人间春色。 爱看影,尤其是港片,好莱坞大片。英文名:DicksonJin, 网名:风一样的BOY。精通SAP供应链咨询。2017年开始研习人工智能。

注册时间:2014-08-27

  • 博文量
    1940
  • 访问量
    3114967