2014年
-
编辑 删除
MapReduce 重要组件——Partitioner组件
（1）Partitioner组件可以让Map对Key进行分区，从而可以根据不同的key来分发到不同的reduce中去处理； （2）你可以自定义key的一个分发股则，如数据文件包含不同的省份，而输出的要求是每个省份输出一个文件； （3）提供了一个默认的HashPartitioner。 自定义Partitioner： （1）继承抽象类Partitioner，实现自定义的getPartition（）方法； （2）通过job.setPartitionerClass（）来设置自定义的Partitioner； Partitioner类见org.apache.hadoop.mapreduce.Partitioner类。 Partitioner应用场景： 需求：分别统计每种商品的周销售情
