ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 个人对shuffle的理解

个人对shuffle的理解

原创 Linux操作系统 作者:sunhaikuo 时间:2014-06-29 22:58:58 0 删除 编辑
1)mapping的过程就是把原始数据读成key,value对的形式
2)reducer的过程就是把mapping的键值对计算成为我们最终我们想要的数据
3)shuffle的定义是:把key相同的行聚合到一起,形成一个{key, [value的数组]}这种形式

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26097185/viewspace-1199097/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: 在VI下进行搜索
请登录后发表评论 登录
全部评论

注册时间:2011-07-26

  • 博文量
    24
  • 访问量
    84454