【shuffle】 VS 【map shuffle】
普通shuffle结构图：
-
不同表由不同的map完成，shuffle把条件相等的key分发到reduce task上去执行
-
join等于是在reduce阶段完成
缺点：
成本高且效率慢，所有的数据都需要shuffle去完成
map shuffle结构图：
-
mapjoin: join是发生在map阶段，无shuffle
-
mapjoin使用前提：大表 join 小表(小表有大小限制 maximum；hive元数据判断大小表)
-
本地的map task读取小表的数据生成HashTable File,然后upload到分布式缓存里.
-
完成本地map task小表后，启动Mapjoin task作业读取大表数据，每条数据和缓存里数据进行匹配
来自 “ ITPUB博客 ” ，链接：https://blog.itpub.net/31441024/viewspace-2168888/ ，如需转载，请注明出处，否则将追究法律责任。
下一篇：
Flume初识与部署
请登录后发表评论
登录
全部评论
