-
细节决定成败 MapReduce任务实战 倒排索引
通过倒排索引，加词频统计的一个案例，演示了如何使用自定义Key的comparaTo, 以及如何使用GroupingComparator。同时给出了分析过程。此任务是一个不错的hadoop MapReduce学习的练手任务。
-
细节决定成败 MapReduce任务实战 Reduce Join
这是一个两个数据集关联的任务。关联有map端join ，和reduce端join。 通常在有一个数据集比较小，可在全部放到内存中时，选择map端join；当两个数据集都很大,不能把一个数据集合部放到内存中时，使用reduce端join，这时也可以使用Bloom过滤器来增加效率。本次任务我们使用reduce端join实现。涉及到的内容有：自定义KEY，自定义GroupingComparator,配置多个Mapper类，配置多个输入路径
-
细节决定成败 MapReduce任务实战 Map Join
本篇使用一个最简单的map join实例，演示了如何使用map join
-
MapReduce实现倒排索引（简单思路）
倒排索引（Inverted index），也常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。倒排索引主要由两个部分组成：“单词词典”和“倒...
-
MapReduce实现倒排索引（多路径输入）
案例采用 MultipleInputs类 实现多路径输入的倒排索引。package test0820; import java.io.IOException; import java.lang.reflect.Method; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; ...
-
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 ...
-
Spark 异常：Trying to write more fields than contained in row
itpub 破棉袄 将json转为row落地存储为parquet：for type_name in types.value: print(type_name) type_data_set = lines.filter(lambda line: line...
-
一个MapReduce 程序示例 细节决定成败(五) ：Partitioner
本篇记录了如何设置reduce task的个数，介绍了默认的partitioner :HashPartitioner.介绍了如何编写一个自定义的Partitioner,以及如何设置自定义的Partitioner 生效。一般情况要，自定义partitioner 是为了解决数据分布不均的情况，又叫数据倾斜。 而且自定义的partitioner 要保证，相同的key要发往相同的reducer。
-
Hadoop和Spark有啥区别
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。Hadoop实质上更多是一个...
-
Hadoop 调试第一个mapreduce程序过程详细记录总结
开发环境搭建参考 ：http://blog.itpub.net/26230597/viewspace-1370205/1，程序代码如下： package wc; import java.io.IOException;import java.util...
-
Hadoop 2.5.2版本安装部署
软件及版本：Hadoop版本hadoop-2.5.2操作系统Red Hat Linux 6.432bitJDK版本jdk-8u25-linux-i586.rpm...
-
MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种：MapReduce 1 也就是Hadoop 2.0之前的工作机制YARNMapReduce 1构成MapReduce 1最主要的其实就是jobtracker和tasktracker：jobtracker，用来协调作业的运行。它也是一个Java程序，主类是JobTracker。tasktracker，用来运行作业划分后的...
-
Hadoop是低成本大数据解决方案 能不逗吗
Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。但这些特点当中，绝对不包含廉价。 可能你认为的低成本，实际上只是硬件和软件授权成本，而不是总体成本。在学习成本、开发成本、管理成本上Hadoop并不总是占优。现在伴随公有云技术的成熟，Hadoop甚至连硬件成本也不占优了...
-
hdfs下载出现Exception in thread "main" java.lang.NullPointerException
hdfs使用copyToLocalFile下载文件时出现Exception in thread "main" java.lang.NullPointerException。
-
Hadoop HDFS结构示意图以及交互关系说明
文件读取1).?Client向NameNode发起文件读取的请求。2).NameNode返回文件存储的DataNode的信息。3).Client读取文件信息。
-
一个MapReduce 程序示例 细节决定成败(九)：RawComparator
使用一个rawcomparator,并如何配置。
-
CDH4/5配置文件之深度解析
一.目录 B.重启MapReduce单个服务 只更新/var/run/cloudera-scm-agent/process/*目录 #因为只重启MapReduce服务，没有重启其他服务，如Hive,所以就只更新MapReduce 四.个人理解总结: cm web界面修改------>数据库表configs表...
-
一个MapReduce 程序示例 细节决定成败(八)：TotalOrderPartitioner
本实验与上一篇，合一起算是一个比较合面的练习。使用到了自定义Key,自定义InputFormat，使用CombinedFileInputFormat合并小文件，自定义RecordReader。分布式缓存文件，使用TotalOrderPartitioner进行全局排序的划分map输出。
-
一个MapReduce 程序示例 细节决定成败(七) ：自定义Key 及RecordReader
上一篇中，演示了如何使用CombineFileInputFormat 来优化当有多个输入小文件时，减少起动的map task个数。在自定义的MyCombineFileInputFormat中的MyRecordReader是简单代理了LineRecordReader。其它我也还可以在这个地方做更多的东西。本次实验是使用自定义的RecordReader从split中自定义 key value。
-
一个MapReduce 程序示例 细节决定成败(六) ：CombineFileInputFormat
hadoop mapreduce job 使用CombineFileInputFormat优化多个小文件输入。
