-
编辑 删除
一个MapReduce 程序示例 细节决定成败(五) ：Partitioner
本篇记录了如何设置reduce task的个数，介绍了默认的partitioner :HashPartitioner.介绍了如何编写一个自定义的Partitioner,以及如何设置自定义的Partitioner 生效。一般情况要，自定义partitioner 是为了解决数据分布不均的情况，又叫数据倾斜。 而且自定义的partitioner 要保证，相同的key要发往相同的reducer。
-
编辑 删除
Hadoop和Spark有啥区别
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个...
-
编辑 删除
Hadoop 调试第一个mapreduce程序过程详细记录总结
开发环境搭建参考 ：http://blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下： package wc; import java.io.IOException;import java.util...
-
编辑 删除
Hadoop 2.5.2版本安装部署
软件及版本：Hadoop版本hadoop-2.5.2操作系统Red Hat Linux 6.432bitJDK版本jdk-8u25-linux-i586.rpm...
-
编辑 删除
数据仓库之拉链算法（转）
链:古代软兵器的中介之物,故名思意.有着连接、衔接的意思.拉链算法是目前数据仓库领域比较XX的算法之一..通用非常广.记录数据量很大且为全量实体记录历史的操作。[@more@]例如，某某移动通信公司客户资料，以河北为例，河北有客户2800W，客户资料每个一条就是2800W条记录算上历史客户，全量大概有5000W条左右。作为数据仓库来存储这些信息几千万条记录不算什么。可是要是记录历史全量所用到的存储就非常的庞大。问题实例为：一般正常情况下，从河北移动的BOSS系统上每天采集全量的日数据大概为2500W条，历史存储每天存储一个2500W条的日表
