-
Hadoop 使用Combiner提高Map/Reduce程序效率
众所周知，Hadoop框架使用Mapper将数据处理成一个<key,value>键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。 在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大...
-
mapreduce的二次排序 SecondarySort
mapreduce的二次排序 SecondarySort关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator 在0.20.0以后使用是job.setPartitionerClass(Partit...
-
hadoop中使用lzo的压缩
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的...
-
在Hadoop中使用MRUnit进行单元测试
在Hadoop中使用MRUnit进行单元测试 本文地址：博客园 逖靖寒 http://gpcuster.cnblogs.com前提1. 了解JUnit4.x的使用。2. 了解Mock的概念在单元测试中的应用。3. 了解Hadoop中MapReduce的编程模型。如果您对Junit和Mock不了解，可以先阅读[翻译]Unit testing with JUnit 4.x and EasyMock in...
-
Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 ...
-
Hadoop FS Shell命令大全
调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录...
-
hive sql语法解读
一、 创建表 在官方的wiki里，example是这样的：Sql代码 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ......
-
Hive远程模式安装（MySQL管理元数据）
试验环境为Win7上用VMware搭建三个虚拟机环境，系统为Red Hat Enterprise 5。 三个节点的的IP、hostname分别为：192.168.1.220 biao.oracle.com biao192.168.1.221 biao1.oracle.com biao1192.168.1.222 &nbs...
-
Hadoop Pig学习笔记(一) 各种SQL在PIG中实现
本博客属原创文章,转载请注明出处:http://guoyunsky.iteye.com/blog/1317084 欢迎加入Hadoop超级群: 180941958 本人新浪微博:http://weibo.com/guoyunsky 我这里以Mysql 5.1.x为例,Pig的版本是0.8...
-
Hadoop调度器原理解析
Map Task分配过程：对于目前的Hadoop任务调度设计来看，分配过程是一个“拉”的过程，即每一个TaskTracker节点主动向JobTracker节点请求作业的任务，而不是当有新作业的时候，JobTracker节点主动给TaskTracker节点分配任务。Cluster运行期，每个TT都要向JT汇报状态信息，这包括TT自身的状态属性、运行在TT上每个task...
-
MapReduce三种join方式
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基...
-
Hbase rowkey热点问题
当处理由连续事件得到的数据时，即时间上连续的数据。这些数据可能来自于某个传感器网络、证券交易或者一个监控系统。它们显著的特点就是rowkey中含有事件发生时间。带来的一个问题便是HBase对于row的不均衡分布，它们被存储在一个唯一的rowkey区间中，被称为region，区间的范围被称为Start Key和E...
-
Hbase rowkey热点问题
当处理由连续事件得到的数据时，即时间上连续的数据。这些数据可能来自于某个传感器网络、证券交易或者一个监控系统。它们显著的特点就是rowkey中含有事件发生时间。带来的一个问题便是HBase对于row的不均衡分布，它们被存储在一个唯一的rowkey区间中，被称为region，区间的范围被称为Start Key和End ...
-
hadoop2.4.1完全分布式安装
本文（亲测实录）主要列出在安装hadoop 2.4.1过程中各个文件配置情况，其他步骤请参考网络其他资源进行操作1、JDK安装和SSH互信（略过）2、各节点IP和hostname如下（各节点需配置）[hadoop@master ~]$ cat /etc/hosts127.0.0.1 localhost100.12.56.221 sl...
-
【转】分布式计算的谬论
早在1994年 SUN 的小伙 Peter Deutsch就提出了分布式计算的七大谬论，后来被 James Gosling等完善:Fallacies of Distributed Computing1. 网络是可靠的2. 网络延时为零3. 带宽是无限的4. 网络是安全的5. 网络拓扑不会改变6. 肯定至少有一个管理员（在值班）7. 传输开销为零8. 网络是同质的...
-
Hbase分布式安装部署过程
基于hadoop 1.2.1版本，Hbase 0.94.16版本分布式安装部署过程。
-
Sqoop安装及验证
环境：系统Red hat linux 6.4Hadoop版本1.2.1Sqoop版本1.4.4Mysql数据库版本5.6.15...
-
Hbase分布式安装部署过程
基于hadoop 1.2.1版本，Hbase 0.94.16版本分布式安装部署过程。
-
Hadoop基础实战课程
时间安排：每周一到周五晚上（19:00-20:00）开课，总共4周开课条件：满50人即开课。学员交流QQ群：311625345345课程链接http://edu.yy.com/course/detail?id=10488 课程内容简介本课程深入阐述了Hadoop的架构、原理，详细讲解了HBase、Hive、Pig、ZooKeeper、Sqoop、Flume、Mahout等...
-
Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
课程讲师：蒙老师 课程分类：Java 适合人群：初级 课时数量：70课时 用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop 涉及项目：Greenplum Hadoop大数据分析平台 一、课程内容介绍： 1、课程背景 GREENPLUM适用场景： Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件
