ITPub博客

首页 > 应用开发 > Java > NameNode和SecondaryNameNode工作机制

NameNode和SecondaryNameNode工作机制

Java 作者:古月木易01 时间:2020-07-28 18:59:50 0 删除 编辑

1.NameNode启动


(1)首次启动需要格式化NameNode,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。


(2)客户端对元数据进行增删改的请求。


(3)NameNode记录操作日志,更新滚动日志。


(4)NameNode在内存中对元数据进行增删改。


2.SecondaryNameNode工作


(1)SecondaryNameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。


(2)SecondaryNameNode请求执行CheckPoint。


(3)NameNode滚动正在写的Edits日志。


(4)将滚动前的编辑日志和镜像文件拷贝到SecondaryNameNode。


(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。


(6)生成新的镜像文件fsimage.chkpoint。


(7)拷贝fsimage.chkpoint到NameNode。


(8)NameNode将fsimage.chkpoint重新命名成fsimage。


       名词解释:


       Fsimage:NameNode内存中元数据序列化后形成的文件。


       Edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。


3.详细工作机制


       NameNode启动时,先滚动Edits并生成一个空的edits.inprogress,然后加载Edits和Fsimage到内存中,此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求,这些请求的操作首先会被记录到edits.inprogress中(查询元数据的操作不会被记录在Edits中,因为查询操作不会更改元数据信息),如果此时NameNode挂掉,重启后会从Edits中读取元数据的信息。然后,NameNode会在内存中执行元数据的增删改的操作。


       由于Edits中记录的操作会越来越多,Edits文件会越来越大,导致NameNode在启动加载Edits时会很慢,所以需要对Edits和Fsimage进行合并(所谓合并,就是将Edits和Fsimage加载到内存中,照着Edits中的操作一步步执行,最终形成新的Fsimage)。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。


       SecondaryNameNode首先会询问NameNode是否需要CheckPoint(触发CheckPoint需要满足两个条件中的任意一个,定时时间到和Edits中数据写满了)。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作,首先会让NameNode滚动Edits并生成一个空的edits.inprogress,滚动Edits的目的是给Edits打个标记,以后所有新的操作都写入edits.inprogress,其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地,然后将拷贝的Edits和Fsimage加载到内存中进行合并,生成fsimage.chkpoint,然后将fsimage.chkpoint拷贝给NameNode,重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可,因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

 

本文来源于:奈学开发者社区 ,如有侵权请联系我删除


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/69976612/viewspace-2707593/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-06-06

  • 博文量
    45
  • 访问量
    18125