ITPub博客

前段时间对ORCFile做了个测试，下面是测试报告PPT本文链接http://blog.csdn.net/lalaguozhe/article/details/17510177，转载请注明

上周我们的production环境正式上线了hive0.11/spark0.8/shark0.8，在前期的测试和回归过程中碰到了很多坑，这边记录一下，有其他公司要上的话，可以少走些弯路。1.Hive0.11对于每一个分区维护了各自的Schema信息，而0.9中的分区是复用TableSchema来做字

我们的Hive中开启了authentication(hive.security.authorization.enabled为true)，为了防止用户在hivesession中reset这个配置为false，绕过authorization策略，我们在setProcessor中会预先加载hiveConf

背景最近在做hive0.9升级到0.11的工作，其中一个步骤就是将之前apply到0.9的patchre-apply到0.11中，有一个patch（https://github.com/lalaguozhe/hive/commit/f2892f9e4706f3ea04117cbc7e7f54ff6a

Hive配置中有个参数hive.mapred.mode，分为nonstrict，strict，默认是nonstrict如果设置为strict，会对三种情况的语句在compile环节做过滤：1.笛卡尔积Join。这种情况由于没有指定reducejoinkey，所以只会启用一个reducer，数据量大时

我们Hadoop集群中将近百分之80的作业是通过Hive来提交的，由于Hive写起来简单便捷，而且我们又提供了HiveWebClient，所以使用范围很广，包括ba，pm，po，sales都在使用hive进行ad-hoc查询，但是hive在降低用户使用门槛的同时，也使得用户经常写不合理开销很大的语句

Spark是UCBerkeleyAMPLab开发的类MapRed计算框架。MapRed框架适用于batchjob，但是由于它自身的框架限制，第一，pull-basedheartbeat作业调度。第二，shuffle中间结果全部落地disk，导致了高延迟，启动开销很大。而Spark是为迭代式，交互式计

背景我们使用HiveServer1已经很长时间了，用户ad-hocquery，hive-web,wormhole，运营工具等都是通过hiveserver来提交语句。但是hiveserver极其不稳定，经常会莫名奇妙假死，导致client端所有的connection都被block住了。对此我们不得不配

我们的hive版本升迁经历了0.7.1->0.8.1->0.9.0，并且线上shark所依赖的hive版本也停留在0.9.0上，在这些版本上有我们自己的bugfixpatch和featureenhancement。但是Hive的版本升级很快，新版本中修复了大量bug，新增了很多功能，非常

今天尝试在Hadoop2.x开发集群上配置Kerberos，遇到一些问题，记录一下设置hadoopsecuritycore-site.xml<property><name>hadoop.security.authentication</name><value

通常用户在HIVE中用SELECT语句出来结果，无法确定结果是来自哪个文件或者具体位置信息，HIVE中考虑到了这点，在VirtualColumn虚列中可以指定三个静态列:1.INPUT__FILE__NAMEmap任务读入File的全路径2.BLOCK__OFFSET__INSIDE__FILE如果

我们的hiveweb是调用polestarrestfulservice(https://github.com/lalaguozhe/polestar-1)来执行具体的hive或者shark语句的，这几天有用户说hiveweb上的kill按钮失效了，虽然已经显示停止了查询，但是其实提交到jobtrac

今天尝试在Hadoop2.x(YARN)上安装和配置LZO，遇到了很多坑，网上的资料都是基于Hadoop1.x的，基本没有对于Hadoop2.x上应用LZO，我在这边记录整个安装配置过程1.安装LZO下载lzo2.06版本，编译64位版本，同步到集群中wgethttp://www.oberhumer

在HDFS1中NameNode启动顺序是这样的：1.读取Fsimage文件2.读取editlogs文件，逐行执行里面的操作3.写checkpoint，生成新的Fsimage(老的Fsimage+editlogs)4.进入safemode，等待datanodes的blockreports，直到达到最小

用官方的Hadoop2.1.0-beta安装后，每次hadoop命令进去都会抛出这样一个WarningWARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasse

Hadoop2.0的源代码中实现了两个基于yarn的application，一个是MapReduce，另一个是被当做如何写application的示例程序----Distributedshell，可以认为它就是YARN的workcount示例程序.distributedshell作用和它名字一样，分

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分

RM作为master管理着所有的集群资源，它会和NM和特定application的AM共同工作1.NodeManagersNM从RM中获得指令，并管理着单节点上可用资源2.ApplicationMasters负责和RM协调，然后通知NM来启动资源容器RM有如下部件：1.RM和客户端交互的部件Clie

客户端通过RPC协议ClientRMProtocol提交Application，其实是提交了一个SubmitApplicationRequest，在Hadoop1.0时代，是使用Writable作为序列化和反序列化框架的，而在2.0中hadoop已经废弃掉了，改用了ProtocolBuffer，它除

在Mapreducev1中是使用JobClient来和JobTracker交互完成Job的提交，用户先创建一个Job，通过JobConf设置好参数，通过JobClient提交并监控Job的进展，在JobClient中有一个内部成员变量JobSubmissionProtocol，JobTracker实