ITPub博客

首页 > 大数据 > Hadoop > Hadoop源码分析——TaskAttemptContext类和TaskAttemptID类

Hadoop源码分析——TaskAttemptContext类和TaskAttemptID类

Hadoop 作者:wcwlwj 时间:2011-08-10 19:10:51 0 删除 编辑

上次我们分析了TaskInputOutputContext,它主要是用于获取key,value的值和输出对。今天我们来看看TaskInputOutputContext的父类——TaskAttemptContext。

 

先来看看TaskAttemptContext的类图:

 

Hadoop源码分析——TaskAttemptContext类和TaskAttemptID类

Figure1:TaskAttemptContext类图

   

我们知道,用户向Hadoop提交Job(作业),Job在JobTracker对象的控制下执行。Job不是独立完成的,Job提交后,Hadoop根据集群的规模将Job分解为若干个Task(任务),然后分发到集群中,在TaskTracker的控制下运行。Task包括Map Task和Reduce Task,是MapReduce的Map操作和Reduce操作的地方。

要了解这个类,还得去看看另一个类——TaskAttemptID,Figure2是TaskAttemptID的类图:


Hadoop源码分析——TaskAttemptContext类和TaskAttemptID类

Figure2:TaskAttemptID类图

 

TaskAttemptID的功能就是提供一个task attempt的ID,而一个task attempt是一个Map Task或Reduce Task实例。TaskAttemptID由两部分组成,第一部分是TaskID,第二部分是task attempt序号。TaskAttemptID的格式如下:

 

attempt_201108091551_0001_m_000000_0  或

attempt_local_0001_m_000000_0

 

attempt_201108091551_0001_m_000000_0表示2011年8月9日15时51分启动的JobTracker中第0001号作业的第000000号map task的第0号task attempt。真TM的长,我们分段来说:

 

attempt:表示该标识代表task attempt;

201108091551:表示JobTracker启动时间;

0001:表示在JobTracker上运行的0001号job;

000000:如果紧跟后面的字母是“m”,表示000000号map task,如果紧跟后面的字母是“r”,则表示000000号reduce task;

0:表示0号task attempt;

 

第二种格式有点不一样,在第二个字段中不是JobTracker的启动日期,而是local,表示单机或伪集群模式运行,其他字段含义与第一种格式一样。

 

我们回头来看看《分析一个MapReduce实例》上的例子的输出结果,如Figure3:


Hadoop源码分析——TaskAttemptContext类和TaskAttemptID类


Hadoop源码分析——TaskAttemptContext类和TaskAttemptID类


Figure3:MapReduce实例输出

 

从输出结果中我们可以看到,共产生了4个TaskAttemptID:

 

attempt_local_0001_m_000000_0

attempt_local_0001_m_000001_0

attempt_local_0001_m_000002_0

attempt_local_0001_r_000000_0

 

字段“00000X”跟

 

      Total input paths to process:3

    numReduceTasks:1

 

是相对应的,3个map操作和1个reduce操作。注意,这跟最后一个字段没关系,task可能会报错、异常终止等,这时最后一个字段就会发生变化,也就是增加了TaskAttemptID。

 

好了,分析了TaskAttemptID类后,我们现在来分析TaskAttemptContext类。由类名可以知道,该类是提供task attempt的相关信息。

 

getTaskAttemptID:获取task attempt的ID,即类似attempt_local_0001_m_000000_0;

setStatus:设置task当前的状态;

getStatus:获取task当前的状态;

progress:报告进度,这是个空方法,子类会通过重写这份方法来进行相关操作,如使用StatusReporter报告进度;

 

TaskInputOutputContext继承TaskAttemptContext,重写了setStatus方法和progress方法。在TaskInputOutputContext的这两个方法中,都使用StatusReporter对象。可见,继承TaskAttemptContext的子类主要是重写这两个方法来完成工作的。



<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/23366979/viewspace-1120396/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-02-20