ITPub博客

我们的HDFS中有一部分落地数据是用LZO格式来压缩的(另一部分采用gz压缩的RCFile，MapReduce中间结果采用snappy压缩)。第一是因为它的压缩比和压缩/解压速度综合下来比较令人满意，第二是它只需要少量effort就能支持可切分（生成LZO文件后跑单机或分布式建索引程序），这样能充分

RM作为master管理着所有的集群资源，它会和NM和特定application的AM共同工作1.NodeManagersNM从RM中获得指令，并管理着单节点上可用资源2.ApplicationMasters负责和RM协调，然后通知NM来启动资源容器RM有如下部件：1.RM和客户端交互的部件Clie

客户端通过RPC协议ClientRMProtocol提交Application，其实是提交了一个SubmitApplicationRequest，在Hadoop1.0时代，是使用Writable作为序列化和反序列化框架的，而在2.0中hadoop已经废弃掉了，改用了ProtocolBuffer，它除

在Mapreducev1中是使用JobClient来和JobTracker交互完成Job的提交，用户先创建一个Job，通过JobConf设置好参数，通过JobClient提交并监控Job的进展，在JobClient中有一个内部成员变量JobSubmissionProtocol，JobTracker实

背景最近开始调研YARN-下一代资源管理系统，hadoop2.0主要由三部分组成Mapreduce,YARN和HDFS，其中HDFS主要增加了HDFSFederation和HDFSHA，Mapreduce是运行在YARN之上的一种编程模型，而YARN是统一资源管理系统，YARN可以认为是HADOOP

本安装在开发实验环境中部署，只涉及到全局资源管理调度系统YARN的安装，HDFS还是第一代，没有部署HDFSFederation和HDFSHA，后续会加上。OS:CentOSLinuxrelease6.0(Final)x86_64部署机器：dev80.hadoop192.168.7.80dev81.

最近在设计开发一个通用查询RestfulService(https://github.com/lalaguozhe/polestar-1)，项目名polestar(中文名叫北极星，野营灯，指导者，希望把大家的查询语句都吸引汇聚过来，你懂的)，之前查询Hive语句基本都是走HiveServer，但是H

最近BA用户反馈有两句看似很像的语句返回的结果数不一样，比较奇怪，怀疑是不是Hive的BugQuery1返回结果数6071selectcount(distinctreviewid)asdis_reviewcntfrom(selecta.reviewidfrombi.dpods_dp_reviewre

背景：最近dw用户反馈wormhole传输速度很慢，有些作业甚至需要3-4个小时才能完成，会影响每天线上报表的及时推送。我看了下，基本都是从Hive到其他数据目的地，也就是使用的是hivereader，日志上也显示hivereader实时传输速度很慢，问题应该在hivereader上先介绍下worm

最近整理了下HiveCompile阶段的执行逻辑，先放上ppt版本本文链接http://blog.csdn.net/lalaguozhe/article/details/9339679，转载请注明

最近在写wormhole的HBaseplugin，需要分别实现hbasereader和hbasewriter，在测试的时候会报错如下：2013-07-0809:30:02,568[pool-2-thread-1]org.apache.hadoop.hbase.client.HConnectionMa

我们知道Mapreduce框架在feed数据给reducer之前会对mapoutputkey排序，这种排序机制保证了每一个reducer局部有序，hadoop默认的partitioner是HashPartitioner，它依赖于outputkey的hashcode，使得相同key会去相同reduce

现象：最近有用户反应hive里面对某张表修改了几个字段名后，在另外的窗口中还是看到原字段名，比较奇怪。我一开始想到可能是cache的问题，由于我们启用了两个metastoreserver，而用户客户端是随机选择一个建立链接的，所以有可能是修改表结构在第一个server中，而查询在第二个server，

最近在测试HCatalog，由于Hcatalog本身就是一个独立JAR包，虽然它也可以运行service，但是其实这个service就是metastorethriftserver，我们在写基于Hcatalog的mapreducejob时候只要把hcatalogJAR包和对应的hive-site.xm

之前的wormhole（我们开发的大规模批量数据传导工具，类似apache的sqoop，淘宝的datax）的mysqlwriter支持insertinto和replaceinto两种方式入mysql表。现在有需求要支持update部分字段操作，比如计算完的一堆商户ID（ShopID）和对应PageV

前几天有DW用户反馈，在往一张表（RCFile表）中用“insertoverwritetablepartition(xx)select...”插入数据的时候，会产生重复文件。看了下这个作业log，发现maptask000005起了两个taskattempt，第二个attempt是推测执行，并且这两个

通常Hadoop在做join策略的时候会有两种方式map-sidejoin（也叫replicationjoin）和reduce-sidejoin（也叫repartitionjoin或者commonjoin）1.reducesidejoin利用了mapreduce框架的sort-merge机制来使得相

Q:是否有像类似于phpmyadmin一样的hive查询客户端，能以界面的方式查询hive语句和导出数据A:有的，客户端的话可以使用squirrel来连接hive，squirrel是一个通用的数据库查询客户端，还有有一个开源项目phphiveadmin也不错，web方式访问hive，我自己也写了一个

最近用户一直抱怨HiveWebClient在提交某些查询后，不会返回结果到前端，比如join五张表的语句就不行，只有去掉一个join先查询写入一张临时表，再和最后一张表join才行。我后来debug了下，发现语句确实是成功执行了的，而且结果文件已经dump到hiveweb的本地系统文件中，这就有点奇

前几天在解决同事一个HiveBug的时候，需要关闭task推测执行(speculativeexecution)，在网上查了资料后有人提到需要sethive.mapred.map.tasks.speculative.execution=falsesethive.mapred.reduce.tasks.