ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Hadoop 解决 Namenode 单点故障问题

Hadoop 解决 Namenode 单点故障问题

原创 Linux操作系统 作者:jcq0 时间:2012-03-06 20:48:40 0 删除 编辑

Hadoop 的 Namenode 单点问题一直广受诟病,而这个问题最近将会得到解决,对Namenode 的HA方案已经完成实施并合并到主干,经过严格的测试后将会在后续版本中发布。

HA方案中,主要进行了如下的一些工作:

  • Configuration changes for HA
  • Notion of active and standby states were added to the Namenode
  • Client-side redirection
  • Standby processing journal from Active
  • Dual block reports to Active and Standby

其主要原理是将NameNode分为两种角色,Active和Standby,Active就是正在进行服务的NameNode,而Standby又分三种情况

  • Cold Standby:是当Active NN已经挂掉后才起来的,它本身没有保存任何数据,这时候并不会减少恢复时间
  • Warm Standby:是在Active NN挂掉前起来的,其中保存了一部分数据,所以在恢复时只需要恢复没有的数据,减少了恢复时间
  • Hot Standby:它里面保存的数据和Active是完成一样的,可以直接热切换到它上面继续服务

详细介绍请看设计文档:NameNode+HA_v2.pdf

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/14130873/viewspace-717881/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2008-11-25

  • 博文量
    93
  • 访问量
    343480