ITPub博客

首页 > 大数据 > Hadoop > 国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

Hadoop 作者:13813200198 时间:2014-02-12 11:22:09 0 删除 编辑

国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

简介

 

hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker,而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN,是一次革命性的变化。

 

配置

 

前面的文章中,我们配置了hadoop2集群的HA高可靠,下面紧接上前面的配置,设置MapReduce的配置信息,也是最简单最容易上手的。

 

修改文件yarn-site.xml,内容如下

 

 

yarn.resourcemanager.hostname
hadoop100


yarn.nodemanager.aux-services
mapreduce_shuffle

其中,名称yarn.resourcemanager.hostname指的是运行ResourceManager机器所在的节点位置;名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle,一定要看清楚。

 

修改mapred-site.xml,内容如下



mapreduce.framework.name
yarn

其中,名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

 

启动了HDFS之后,就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。

 

关于hadoop2的其他配置文章,欢迎持续关注我的文章

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22085737/viewspace-1114287/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-07-11