全部博文
-
编辑 删除
【hadoop源码分析——1】mapreduce类
今天开始看hadoop的源码，代码经验实在是很少，所以就从最熟悉的、最简单的开始看起。先种树，再见林吧。 先从demo看起。最常见的demo是wordcount，就是统计预料中词频。 mapreduce程序元素： 这是一个最基本的mapreduce程序，程序中必须要写的元素有： mapper reducer mapreduce执行流程： 1.设置JobConf，一系列的conf.set方法，可配置的参数有： mapper、combiner、reducer、outputKeyClass、outputValueClass、mapper count、reducer count、inputformat、outputformat 2.JobClient通过JobConf执行mapreduc程序 mapper org.ap
