ITPub博客

首页 > 大数据 > Hadoop > mapred.map.tasks.speculative.execution参数影响性能(R1)

mapred.map.tasks.speculative.execution参数影响性能(R1)

Hadoop 作者:thamsyangsw 时间:2014-03-11 09:42:35 0 删除 编辑
转载地址:http://www.cnblogs.com/xuxm2007/archive/2011/09/01/2162011.html

mapred.map.tasks.speculative.execution=true

mapred.reduce.tasks.speculative.execution=true

这两个是推测执行的配置项,它们默认值是true

所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),然后原有任务和新任务哪个先执行完就把另外一个kill掉,这也是我们经常在Job Tracker页面看到任务执行成功,但是总有些任务被kill,就是这个原因。

有以下几种情况最好是将那个参数设为false:

1.当执行的任务相比集群其他任务执行时间非常长,占用的slot数很多。

这种情况下会推断为任务执行的较慢,会启动更多的task,而slot资源本身就非常的紧张,又翻倍往上长,集群上的其他任务就根本抢不到slot了,对集群是危害很大的事情。

2.当任务是操作redis,hbase这种中间存储层的时候。

像对这些中间存储层进行读写操作的时候,它们本身就承担着压力,推断执行一开,我勒个去了,压力就要翻倍,这对于性能是一件非常不好的事情。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26613085/viewspace-1107178/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-01-12

  • 博文量
    160
  • 访问量
    1177041