MapReduce
-
定义
map：俗称--映射，map之后元素个数不变
如：
x --> (x,1)
y --> (y,1)
z --> (z,1)
reduce:俗称--规约，reduce之后元素个数<=当前个数（把key相同的元素，拉倒一起）
如：
x --> (x,1)
x --> (x,1) -->>(x,1+1+1)
x --> (x,1) -
mapReduce架构
MR job提交到Yarn的工作流程==Yarn架构设计==Yarn工作流程
-
shuffle
map->shuffle->reduce
理解：key相同的元素通过网络IO放到一起，进行业务计算
参考：http://blog.itpub.net/30089851/viewspace-2095837/
-
常用命令
mapred
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31558266/viewspace-2216357/，如需转载，请注明出处，否则将追究法律责任。
上一篇：
HDFS
下一篇：
Linux命令（一）
请登录后发表评论
登录
全部评论
