hadoop的源码已经粗看过一遍,但每次想要了解细节的时候,还得去翻代码. 看了又是忘记. 所以我决定这些天把其中的重要的细节记下来。

声明：

1. 本文假设读者已经掌握一些MapReduce的基本概念,曾经编写过MapReduce程序。

2. 此源代码分析是基于hadoop svn的trunk之上(目前0.20.0-dev),由于hadoop正在换新的MapReduce api(org.apache.hadoop.mapreduce包), 以后很多类会弃用,很多接口会改变,这儿只能尽量保持同步。

3. 关于hdfs源代码可以参考caibinbupt的hdfs源代码分析 ,这儿就不再详述。

4. 这篇文章是基于javen 的分析之上的，感谢javen的辛勤劳动。javen的源码分析是在早期的hadoop版本上,在这儿有一些内容会不一样。

一、基本概念

1.1 MapReduce逻辑过程
1.2 MapReduce物理分布

二、实现细节

2.1 总体结构

我们在编写MapReduce程序时通常是上是这样写的: