Hive中简介及使用MAP JOIN

Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下mapjoin的原理和机制。

一、MAP JOIN图

二、概述
MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。
Hive0.7之前，需要使用hint提示 /*+ mapjoin(table) */才会执行MapJoin,否则执行Common Join，但在0.7版本之后，默认自动会转换Map Join，由参数hive.auto.convert.join来控制，默认为true.
假设a表为一张大表，b为小表，并且hive.auto.convert.join=true,那么Hive在执行时候会自动转化为MapJoin。

三、测试
1、两表关联：

点击(此处)折叠或打开

select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d on e.deptno = d.deptno;

条件：emp表数据为1000条，dept表数据为100条；
说明：执行时间mapjoin会通过元数据(metadata)进行查找，发现是否存在小表（根据hive.mpajoin.samlltable.filesize参数设置，判断是否为小表。此参数默认25M）。
存在小表时将先行进行小表加载到内存中，即dept表，如上HQL语句将dept表加载至内存中，最后再用emp表中数据一条一条与内存中数据进行关联查询。

2、多表关联
条件：emp表数据为1000条，dept表数据为100条，emp_partition表数据为500条；

点击(此处)折叠或打开

select e.empno,e.ename,e.deptno,d.deptno,d.dname from emp e join dept d join emp_partition c on e.deptno = d.deptno and e.empno = c.empno;

说明：执行时间mapjoin会通过元数据(metadata)进行查找，发现是否存在小表（根据hive.mpajoin.samlltable.filesize参数设置，判断是否为小表。此参数默认25M）。
存在小表时将先行进行小表加载到内存中，即dept、emp_partition表，如上HQL语句将dept表加载至内存中，最后再用emp表中数据一条一条与内存中数据进行关联查询。
注：以上可以对照SQL的执行计划或执行日志更详细，后续补充相关截图及说明

四、使用MAPJOIN可解决以下实际问题：
1、有一个极小的表<100行（d表是部门）
2、需要做不等值join操作（a.x<b.y或者a.x like="" b.y等）。普通join语法不支持不等于操作，hive语法解析会直接抛出错误。="" 五、相关参数

点击(此处)折叠或打开

1、小表自动选择Mapjoin
set hive.auto.convert.join=true;
默认值：false。该参数为true时，Hive自动对左边的表统计量，若是小表就加入内存，即对小表使用Map join
2、小表阀值
set hive.mapjoin.smalltable.filesize=25000000;
默认值：25M
hive.smalltable.filesize (replaced by hive.mapjoin.smalltable.filesize in Hive 0.8.1)
3、map join做group by操作时，可使用多大的内存来存储数据。若数据太大则不会保存在内存里
set hive.mapjoin.followby.gby.localtask.max.memory.usage;
默认值：0.55
4、本地任务可以使用内存的百分比
set hive.mapjoin.localtask.max.memory.usage;
默认值：0.90

若泽大数据交流群：671914634

ITPub博客

Hive中原理及使用MAP JOIN

最新文章