         1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。
  2.JobClient提交作业。
  3.JobClient生成作业目录。
  4.从本地拷贝 MapReduce 的作业jar文件
  5.如果DistributedCache中有需要的数据，从DistributedCache中拷贝这部分数据。
  6.根据InputFormat实例，实现输入数据的split，在作业目录上生成job.split和job.splitmetainfo文件。
  7.将配置文件写入到作业目录的job.xml文件中。
  8.JobClient和JobTracker通讯，提交作业。
  9.JobTracker将job加入到job队列中。
  10.JobTracker的TaskScheduler（任务调度器）对job队列进行调度。
  11.TaskTracker通过心跳和JobTracker保持联系，JobTracker收到后根据心跳带来的数据，判断是否可以分配给TaskTracker Task，TaskScheduler会对Task进行分配。
  12.TaskTracker启动TaskRunner实例，在TaskRunner中启动单独的JVM进行Mapper运行。
  13.Map端会从HDFS中读取输入数据，执行之后Map输出数据先是在内存当中，当达到阀值后，split到硬盘上面，在此过程中如果有combiner的话要进行combiner，当然sort是肯定要进行的。
  14.Map结束了，Reduce开始运行，从Map端拷贝数据，称为shuffle阶段，之后执行reduce输出结果数据。
  15.当jobtracker收到作业最后一个任务完成通知后，便把作业的状态设置为“完成”。
  16.在jobclient查询状态时，便知道任务已经完成，于是从runjob（）方法返回。

ITPub博客

Hadoop1.x MapReduce 程序执行的详细过程

最新文章