-
编辑 删除
细节决定成败 MapReduce任务实战 倒排索引
通过倒排索引，加词频统计的一个案例，演示了如何使用自定义Key的comparaTo, 以及如何使用GroupingComparator。同时给出了分析过程。此任务是一个不错的hadoop MapReduce学习的练手任务。
-
编辑 删除
细节决定成败 MapReduce任务实战 Reduce Join
这是一个两个数据集关联的任务。关联有map端join ，和reduce端join。 通常在有一个数据集比较小，可在全部放到内存中时，选择map端join；当两个数据集都很大,不能把一个数据集合部放到内存中时，使用reduce端join，这时也可以使用Bloom过滤器来增加效率。本次任务我们使用reduce端join实现。涉及到的内容有：自定义KEY，自定义GroupingComparator,配置多个Mapper类，配置多个输入路径
-
编辑 删除
细节决定成败 MapReduce任务实战 Map Join
本篇使用一个最简单的map join实例，演示了如何使用map join
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(九)：RawComparator
使用一个rawcomparator,并如何配置。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(八)：TotalOrderPartitioner
本实验与上一篇，合一起算是一个比较合面的练习。使用到了自定义Key,自定义InputFormat，使用CombinedFileInputFormat合并小文件，自定义RecordReader。分布式缓存文件，使用TotalOrderPartitioner进行全局排序的划分map输出。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(七) ：自定义Key 及RecordReader
上一篇中，演示了如何使用CombineFileInputFormat 来优化当有多个输入小文件时，减少起动的map task个数。在自定义的MyCombineFileInputFormat中的MyRecordReader是简单代理了LineRecordReader。其它我也还可以在这个地方做更多的东西。本次实验是使用自定义的RecordReader从split中自定义 key value。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(六) ：CombineFileInputFormat
hadoop mapreduce job 使用CombineFileInputFormat优化多个小文件输入。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(五) ：Partitioner
本篇记录了如何设置reduce task的个数，介绍了默认的partitioner :HashPartitioner.介绍了如何编写一个自定义的Partitioner,以及如何设置自定义的Partitioner 生效。一般情况要，自定义partitioner 是为了解决数据分布不均的情况，又叫数据倾斜。 而且自定义的partitioner 要保证，相同的key要发往相同的reducer。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(四) ：In-Map Aggregation
为什么使用in-map aggregation, 与combine 有什么区别，什么时候使用combiner ，什么时候使用in-map 聚合？?继续研究这个例子，可以看到 代码中定义了一个map，来存放所有的字符的数量。这个map中最大的记录数也就26个，占用内存不大，那这是适用的。?假如我们统计的是单词数量，而且单词数量很多，就可能会导致map task的内存中存放不下，那这种情况就是不适用的！
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(三) ：Combiner
本篇介绍了combiner的作用
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(二) ：观察日志及 Counter
学习查看 mapreduce 运行日志。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败（一）
注意Mapper 与 Reducer 类写成内部类，一定要加static ！！！！使用TextInputFormat时，进入?map 函数中的LongWritable类型的key 代表什么？经实验确认这个key 其实是本行的首字符在整个文件中的偏移量。
-
编辑 删除
为Linux虚拟机增加磁盘空间
为Linux虚拟机增加磁盘空间
-
编辑 删除
Hadoop的GroupComparator是如何起做用的（源码分析）
点击(此处)折叠或打开public static class DividendGrowthReducer extends Reducer { private NullWritable outputKey = NullWritable.get(); ...
-
编辑 删除
SPARK 安装之scala 安装
scala 安装 spark hadoop
-
编辑 删除
Hadoop 学习之-HBase安装
HBase单机模式安装1、下载解压对hadoop 的版本有要求。如果版本不匹配，会出问题。本机使用hadoop1.1.2 使用 http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.27/ 可以。 下载后使用tar xzvf hbase**.tar.gz 解压2、配置 conf/hbase-env.sh --jdk conf/hbase-site.xml --...
-
编辑 删除
Hadoop 学习之 MapredReduce 编程小试
1、打开myeclipse 新建一个java 项目，直接把example 中的WordCount.java COPY过来。2、修改编码 UTF-8,编译器 1.63、buildpath 把源码根目录下的jar,以及lib下的jar导入到项目中。4、src一般放置配置代码（xml）。真正的项目代码会新建SourceFolder5、把core-site.xml 放到src目录下。：注意修改 h1改为地址或修改本地...
-
编辑 删除
Hadoop 学习之-源码绑定
hadoop 源码 绑定 myeclipse
