ITPub博客

一、方案背景现阶段部分业务数据存储在HBase中，这部分数据体量较大，达到数十亿。大数据需要增量同步这部分业务数据到数据仓库中，进行离线分析，目前主要的同步方式是通过HBase的hive映射表来实现的。该种方式具有以下痛点：需要对HBase表进行全表扫描，对HBase库有一定压力，同步数据同步速度慢

1大数据技术变迁概述‍‍大数据的概念从上世纪90年代被提出，03-06年Google的3篇经典论文（GFS、MapReduce、Bigtable）作为奠基，Hadoop等优秀系统的出现使之繁荣，经历了十余年的时间。从GartnerHypeCycle这一行业技术发展的趋势图看，大数据

10多年前自己以新人的身份开启数据生涯，现在算是一个数据老人了，与当初的自己相比，现在看数据的视角发生了很大的变化，这里列出了50条关于新人老人在数据认知上的可能的差异，希望能带来些启示。第一条新人把一张张宽表看成一块块浮冰。老人知道这些浮冰只是冰山一角，看不见的沉在水下的表才是最重要的，因此不要总

陈昱康，携程架构师，对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有浓厚兴趣。本文将分享携程Hadoop跨机房架构实践，包含Hadoop在携程的发展情况，整个跨机房项目的背景，我们跨机房的架构选型思路和落地实践，相关的改造和对未来的展望，希望给大家一些启迪。一、Hadoop在携程的落

前段时间对ORCFile做了个测试，下面是测试报告PPT本文链接http://blog.csdn.net/lalaguozhe/article/details/17510177，转载请注明

上周我们的production环境正式上线了hive0.11/spark0.8/shark0.8，在前期的测试和回归过程中碰到了很多坑，这边记录一下，有其他公司要上的话，可以少走些弯路。1.Hive0.11对于每一个分区维护了各自的Schema信息，而0.9中的分区是复用TableSchema来做字

我们的Hive中开启了authentication(hive.security.authorization.enabled为true)，为了防止用户在hivesession中reset这个配置为false，绕过authorization策略，我们在setProcessor中会预先加载hiveConf

背景最近在做hive0.9升级到0.11的工作，其中一个步骤就是将之前apply到0.9的patchre-apply到0.11中，有一个patch（https://github.com/lalaguozhe/hive/commit/f2892f9e4706f3ea04117cbc7e7f54ff6a

Hive配置中有个参数hive.mapred.mode，分为nonstrict，strict，默认是nonstrict如果设置为strict，会对三种情况的语句在compile环节做过滤：1.笛卡尔积Join。这种情况由于没有指定reducejoinkey，所以只会启用一个reducer，数据量大时

我们Hadoop集群中将近百分之80的作业是通过Hive来提交的，由于Hive写起来简单便捷，而且我们又提供了HiveWebClient，所以使用范围很广，包括ba，pm，po，sales都在使用hive进行ad-hoc查询，但是hive在降低用户使用门槛的同时，也使得用户经常写不合理开销很大的语句

Spark是UCBerkeleyAMPLab开发的类MapRed计算框架。MapRed框架适用于batchjob，但是由于它自身的框架限制，第一，pull-basedheartbeat作业调度。第二，shuffle中间结果全部落地disk，导致了高延迟，启动开销很大。而Spark是为迭代式，交互式计

背景我们使用HiveServer1已经很长时间了，用户ad-hocquery，hive-web,wormhole，运营工具等都是通过hiveserver来提交语句。但是hiveserver极其不稳定，经常会莫名奇妙假死，导致client端所有的connection都被block住了。对此我们不得不配

我们的hive版本升迁经历了0.7.1->0.8.1->0.9.0，并且线上shark所依赖的hive版本也停留在0.9.0上，在这些版本上有我们自己的bugfixpatch和featureenhancement。但是Hive的版本升级很快，新版本中修复了大量bug，新增了很多功能，非常

今天尝试在Hadoop2.x开发集群上配置Kerberos，遇到一些问题，记录一下设置hadoopsecuritycore-site.xml<property><name>hadoop.security.authentication</name><value

通常用户在HIVE中用SELECT语句出来结果，无法确定结果是来自哪个文件或者具体位置信息，HIVE中考虑到了这点，在VirtualColumn虚列中可以指定三个静态列:1.INPUT__FILE__NAMEmap任务读入File的全路径2.BLOCK__OFFSET__INSIDE__FILE如果

我们的hiveweb是调用polestarrestfulservice(https://github.com/lalaguozhe/polestar-1)来执行具体的hive或者shark语句的，这几天有用户说hiveweb上的kill按钮失效了，虽然已经显示停止了查询，但是其实提交到jobtrac

今天尝试在Hadoop2.x(YARN)上安装和配置LZO，遇到了很多坑，网上的资料都是基于Hadoop1.x的，基本没有对于Hadoop2.x上应用LZO，我在这边记录整个安装配置过程1.安装LZO下载lzo2.06版本，编译64位版本，同步到集群中wgethttp://www.oberhumer

在HDFS1中NameNode启动顺序是这样的：1.读取Fsimage文件2.读取editlogs文件，逐行执行里面的操作3.写checkpoint，生成新的Fsimage(老的Fsimage+editlogs)4.进入safemode，等待datanodes的blockreports，直到达到最小

用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasse

Hadoop2.0的源代码中实现了两个基于yarn的application，一个是MapReduce，另一个是被当做如何写application的示例程序----Distributedshell，可以认为它就是YARN的workcount示例程序.distributedshell作用和它名字一样，分