ITPub博客

首页 > 大数据 > Hadoop > hadoop之 reduce个数控制

hadoop之 reduce个数控制

原创 Hadoop 作者:张冲andy 时间:2018-02-03 20:01:58 0 删除 编辑

1、参数变更
1.x 参数名                                                         2.x 参数名 
mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum
mapred.reduce.tasks                                       mapreduce.job.reduces

 

2、参数设置

2.1、mapred.tasktracker.reduce.tasks.maximum设置为逻辑CPU个数

<property> 
<name>mapred.tasktracker.reduce.tasks.maximum</name> 
<value>8</value> 
<final>true</final> 
</property>


2.2.1、 hadoop 服务器端参数设定
mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 单台 datanode 逻辑cpu个数

2.2.2、应用端调用 job. setNumReduceTasks(int n) 方法指定


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31383567/viewspace-2150819/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
支持就关注我个人公众号:DBA烂笔头 。专注数据库领域,熟悉oracle、mysql、redis、mongodb,clickhouse等相关技术

注册时间:2016-08-11

  • 博文量
    626
  • 访问量
    286374