ITPub博客

首页 > 数据库 > 数据库开发技术 > Hive 调整inputsplit size来增加MAP数

Hive 调整inputsplit size来增加MAP数

原创 数据库开发技术 作者:boylook 时间:2013-09-17 20:03:38 0 删除 编辑

线上一个Hive(CDH4.2.0)的清洗Job出错,查看日志发现其中一个MAP OOME:

查看了日志这个HQL是2个表进行Join,splits=2即开了2个MAP进行分别处理,其中一个大表123MB(),500W行左右,应该是数据量超过了MAP的内存了,通过对比前一天的日志可以确认:

由于是临时表,设置了mapred.reduce.tasks=20重跑新生成临时表,Join清洗成功:

由于MR的inputsplit size=min{minsplitsize,max{maxsplitsize,blocksize}},因此想是否可以通过设置mapred.max.split.size=32MB来起多个MAP这种方式解决呢,尝试后发现仍然是2个MAP;Google后无果(都是减小MAP数的方法,so easy)祭出杀器:看源码;

computeSplitSize(long goalSize, long minSize, long blockSize) {

return Math.max(minSize, Math.min(goalSize, blockSize)); }

丫的这个参数根本就没用上,再看CDH3u1的代码:

computeSplitSize(long blockSize, long minSize, long maxSize) {

return Math.max(minSize, Math.min(maxSize, blockSize)); }

这个参数在CDH3是有效的,看来是CDH回归的一个Bug;后来通过设置mapred.map.tasks增加果然起了预期的MAP数,唉,升级需谨慎啊! [@more@]

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/11676357/viewspace-1060923/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 博客搬家
请登录后发表评论 登录
全部评论

注册时间:2010-12-03

  • 博文量
    18
  • 访问量
    351503