ITPub博客

首页 > 大数据 > Hadoop > MapReduce

MapReduce

原创 Hadoop 作者:l_x_p_火力全开 时间:2018-10-15 10:53:19 0 删除 编辑
  1. 定义

    map:俗称--映射,map之后元素个数不变

    如:

    x  --> (x,1) 
    y  --> (y,1)
    z  --> (z,1)

    reduce:俗称--规约,reduce之后元素个数<=当前个数(把key相同的元素,拉倒一起)

    如:

    x --> (x,1)  
    x --> (x,1)    -->>(x,1+1+1)
    x --> (x,1)

  2. mapReduce架构

    MR job提交到Yarn的工作流程==Yarn架构设计==Yarn工作流程

  3. shuffle

    map->shuffle->reduce

    理解:key相同的元素通过网络IO放到一起,进行业务计算

    参考:http://blog.itpub.net/30089851/viewspace-2095837/

  4. 常用命令

    mapred


来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31558266/viewspace-2216357/,如需转载,请注明出处,否则将追究法律责任。

上一篇: HDFS
下一篇: Linux命令(一)
请登录后发表评论 登录
全部评论
Young people trying to learn big data

注册时间:2018-10-15

  • 博文量
    8
  • 访问量
    3780