-
编辑 删除
HADOOP SPARK 集群环境搭建
基于hadoop集群的，spark集群安装、测试。
-
编辑 删除
细节决定成败 MapReduce任务实战 倒排索引
通过倒排索引，加词频统计的一个案例，演示了如何使用自定义Key的comparaTo, 以及如何使用GroupingComparator。同时给出了分析过程。此任务是一个不错的hadoop MapReduce学习的练手任务。
-
编辑 删除
细节决定成败 MapReduce任务实战 Reduce Join
这是一个两个数据集关联的任务。关联有map端join ，和reduce端join。 通常在有一个数据集比较小，可在全部放到内存中时，选择map端join；当两个数据集都很大,不能把一个数据集合部放到内存中时，使用reduce端join，这时也可以使用Bloom过滤器来增加效率。本次任务我们使用reduce端join实现。涉及到的内容有：自定义KEY，自定义GroupingComparator,配置多个Mapper类，配置多个输入路径
-
编辑 删除
细节决定成败 MapReduce任务实战 Map Join
本篇使用一个最简单的map join实例，演示了如何使用map join
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(九)：RawComparator
使用一个rawcomparator,并如何配置。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(八)：TotalOrderPartitioner
本实验与上一篇，合一起算是一个比较合面的练习。使用到了自定义Key,自定义InputFormat，使用CombinedFileInputFormat合并小文件，自定义RecordReader。分布式缓存文件，使用TotalOrderPartitioner进行全局排序的划分map输出。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(七) ：自定义Key 及RecordReader
上一篇中，演示了如何使用CombineFileInputFormat 来优化当有多个输入小文件时，减少起动的map task个数。在自定义的MyCombineFileInputFormat中的MyRecordReader是简单代理了LineRecordReader。其它我也还可以在这个地方做更多的东西。本次实验是使用自定义的RecordReader从split中自定义 key value。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(六) ：CombineFileInputFormat
hadoop mapreduce job 使用CombineFileInputFormat优化多个小文件输入。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(五) ：Partitioner
本篇记录了如何设置reduce task的个数，介绍了默认的partitioner :HashPartitioner.介绍了如何编写一个自定义的Partitioner,以及如何设置自定义的Partitioner 生效。一般情况要，自定义partitioner 是为了解决数据分布不均的情况，又叫数据倾斜。 而且自定义的partitioner 要保证，相同的key要发往相同的reducer。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(四) ：In-Map Aggregation
为什么使用in-map aggregation, 与combine 有什么区别，什么时候使用combiner ，什么时候使用in-map 聚合？?继续研究这个例子，可以看到 代码中定义了一个map，来存放所有的字符的数量。这个map中最大的记录数也就26个，占用内存不大，那这是适用的。?假如我们统计的是单词数量，而且单词数量很多，就可能会导致map task的内存中存放不下，那这种情况就是不适用的！
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(三) ：Combiner
本篇介绍了combiner的作用
-
编辑 删除
一个MapReduce 程序示例 细节决定成败(二) ：观察日志及 Counter
学习查看 mapreduce 运行日志。
-
编辑 删除
一个MapReduce 程序示例 细节决定成败（一）
注意Mapper 与 Reducer 类写成内部类，一定要加static ！！！！使用TextInputFormat时，进入?map 函数中的LongWritable类型的key 代表什么？经实验确认这个key 其实是本行的首字符在整个文件中的偏移量。
-
编辑 删除
为Linux虚拟机增加磁盘空间
为Linux虚拟机增加磁盘空间
-
编辑 删除
协方差的意义和计算公式
转载http://www.cnblogs.com/ywl925/p/3210822.html协方差的意义和计算公式学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。很显然，均值描述的是...
-
编辑 删除
Hadoop的GroupComparator是如何起做用的（源码分析）
点击(此处)折叠或打开public static class DividendGrowthReducer extends Reducer { private NullWritable outputKey = NullWritable.get(); ...
-
编辑 删除
UNICODE码转汉字
unicode string java oracle
-
编辑 删除
R 如何把ployly生成的图表保存成html
在R中，如何把plot_ly 生成的交互图，保存成html，这在使用RSession 调用R服务，展示交互图中必须要解决的一个问题。
