ITPub博客

首页 > 大数据 > Hadoop > Hadoop源码分析之心跳机制(转载)

Hadoop源码分析之心跳机制(转载)

Hadoop 作者:mfkdqq 时间:2014-01-14 13:48:05 0 删除 编辑
 一.心跳机制

1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

2. master启动的时候,会开一个ipc server在那里,等待slave心跳。

3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

二.Datanode、Namenode心跳源码分析

既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

代码一:

  1. publicvoid offerService() throws Exception {
  2. ???
  3. while (shouldRun) {
  4. try {
  5. long startTime = now();
  6. // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间
  7. if (startTime - lastHeartbeat > heartBeatInterval) {
  8. lastHeartbeat = startTime;
  9. //Datanode发送心跳
  10. DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,
  11. data.getCapacity(),
  12. data.getDfsUsed(),
  13. data.getRemaining(),
  14. xmitsInProgress.get(),
  15. getXceiverCount());
  16. myMetrics.addHeartBeat(now() - startTime);
  17. if (!processCommand(cmds))
  18. continue;
  19. }
  20. ???
  21. }
  22. } // while (shouldRun)
  23. } // offerService

需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:

代码二:

  1. public DatanodeProtocol namenode = null;

namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:

代码三:

  1. this.namenode = (DatanodeProtocol)
  2. RPC.waitForProxy(DatanodeProtocol.class,
  3. DatanodeProtocol.versionID,
  4. nameNodeAddr,
  5. conf);

其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。

三.Tasktracker、Jobtracker心跳源码分析

同样我们从Tasktracker入手,下面贴出Tasktracker.class的关键代码:

代码四:

  1. 代码一:
  2. State offerService() throws Exception {
  3. long lastHeartbeat = System.currentTimeMillis();
  4. while (running && !shuttingDown) {
  5. ???
  6. // 发送心跳,调用代码二
  7. HeartbeatResponse heartbeatResponse = transmitHeartBeat(now);
  8. ???
  9. return State.NORMAL;
  10. }
  11. 代码二:
  12. HeartbeatResponse transmitHeartBeat(long now) throws IOException {
  13. ???
  14. HeartbeatResponse heartbeatResponse = jobClient.heartbeat(status,
  15. justStarted,
  16. justInited,
  17. askForNewTask,
  18. heartbeatResponseId);
  19. ???
  20. return heartbeatResponse;
  21. }

其实我觉得分析到这里大家就可以自己分析了,jobClient也是一个协议:

代码五:

  1. InterTrackerProtocol jobClient;

该协议用于定义Tasktracker和Jobtracker的通信。同样,它也是一个代理对象:

 

代码六:

  1. this.jobClient = (InterTrackerProtocol)
  2. UserGroupInformation.getLoginUser().doAs(
  3. new PrivilegedExceptionAction() {
  4. public Object run() throws IOException {
  5. return RPC.waitForProxy(InterTrackerProtocol.class,
  6. InterTrackerProtocol.versionID,
  7. jobTrackAddr, fConf);
  8. }
  9. });
  10. 终于,hadoop底层通信整个系列的源码分析全部完成了。我可以好好地复习学校的功课了。呵呵。

    <!-- 正文结束 -->

    来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/12075490/viewspace-1114404/ ,如需转载,请注明出处,否则将追究法律责任。

    上一篇: 没有了~
    下一篇: 没有了~
    请登录后发表评论 登录
    全部评论
    • 博文量
      1
    • 访问量
      1947