ITPub博客

首页 > 数据库 > Oracle > HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)

HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)

Oracle 作者:thamsyangsw 时间:2014-03-07 21:58:38 0 删除 编辑

  1 ,排序 - - 合并连接( Sort Merge Join , SMJ )

  内部连接过程:

   1 ) 首先生成 row source1 需要的数据,然后对这些数据按照连接操作关联列(如 A.col3 )进行排序。

   2 ) 随后生成 row source2 需要的数据,然后对这些数据按照与 sort source1 对应的连接操作关联列(如 B.col4 )进行排序。

   3 ) 最后两边已排序的行被放在一起执行合并操作,即将 2 个 row source 按照连接条件连接起来

  下面是连接步骤的图形表示:

                 MERGE

                /           /

         SORT           SORT

            |                   |

   Row Source 1  Row Source 2

  如果 row source 已经在连接关联列上被排序,则该连接操作就不需要再进行 sort 操作,这样可以大大提高这种连接操作的连接速度,因为排序是个极其费资源的操 作,特别是对于较大的表。预先排序的 row source 包括已经被索引的列(如 a.col3 或 b.col4 上有索引)或 row source 已经在前面的步骤中被排序了。尽管合并两个 row source 的过程是串行的,但是可以并行访问这两个 row source (如并行读入数据,并行排序)。

   SMJ 连接的例子:

   SQL> explain plan for

   select /*+ ordered */ e.deptno , d.deptno

   from emp e , dept d

   where e.deptno = d.deptno

   order by e.deptno , d.deptno ;

   Query Plan

   -------------------------------------

   SELECT STATEMENT [CHOOSE] Cost=17

   MERGE JOIN

   SORT JOIN

   TABLE ACCESS FULL EMP [ANALYZED]

   SORT JOIN

   TABLE ACCESS FULL DEPT [ANALYZED]

  排序是一个费时、费资源的操作,特别对于大表。基于这个原因, SMJ 经常不是一个特别有效的连接方法,但是如果 2 个 row source 都已经预先排序,则这种连接方法的效率也是蛮高的。

   2 ,嵌套循环( Nested Loops , NL )

  这个连接方法有驱动表(外部表)的概念。其实,该连接过程就是一个 2 层嵌套循环,所以外层循环的次数越少越好,这也就是我们为什么将小表或返回较小 row source 的表作为驱动表(用于外层循环)的理论依据。但是这个理论只是一般指导原则,因为遵循这个理论并不能总保证使语句产生的 I/O 次数最少。有时 不遵守这个理论依据,反而会获得更好的效率。如果使用这种方法,决定使用哪个表作为驱动表很重要。有时如果驱动表选择不正确,将会导致语句的性能很差、很差。

  内部连接过程:

   Row source1 的 Row 1 —— Probe ->Row source 2

   Row source1 的 Row 2 —— Probe ->Row source 2

   Row source1 的 Row 3 —— Probe ->Row source 2

  ……。

   Row source1 的 Row n —— Probe ->Row source 2

  从内部连接过程来看,需要用 row source1 中的每一行,去匹配 row source2 中的所有行,所以此时保持 row source1 尽可能的小与高效的访问 row source2 (一般通过索引实现)是影响这个连接效率的关键问题。这只是理论指导原则,目的是使整个连接操作产生最少的物理 I/O 次数,而且如果遵守这 个原则,一般也会使总的物理 I/O 数最少。但是如果不遵从这个指导原则,反而能用更少的物理 I/O 实现连接操作,那尽管违反指导原则吧!因为最少的物理 I/O 次数才是我们应该遵从的真正的指导原则,在后面的具体案例分析中就给出这样的例子。

  在上面的连接过程中,我们称 Row source1 为驱动表或外部表。 Row Source2 被称为被探查表或内部表。

  在 NESTED LOOPS 连接中, Oracle 读取 row source1 中的每一行,然后在 row sourc2 中检查是否有匹配的行,所有被匹配的行都被放到结果集中,然后处理 row source1 中的下一行。这个过程一直继续,直到 row source1 中的所有行都被处理。这是从连接操作中可以得到第一个匹配行的最快的方法之一,这种类型的连接可以用在需要快速响应的语句中,以响应速度为 主要目标。

  如果 driving row source (外部表)比较小,并且在 inner row source (内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。 NESTED LOOPS 有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。

  如果不使用并行操作,最好的驱动表是那些应用了 where 限制条件后,可以返回较少行数据的的表,所以大表也可能称为驱动表,关键看限制条件。对于并行查询,我们经常选择大表作为驱动表,因为大表可以充分利用并 行功能。当然,有时对查询使用并行操作并不一定会比查询不使用并行操作效率高,因为最后可能每个表只有很少的行符合限制条件,而且还要看你的硬件配置是否 可以支持并行(如是否有多个 CPU ,多个硬盘控制器),所以要具体问题具体对待。

   NL 连接的例子:

   SQL> explain plan for

   select a.dname , b.sql

   from dept a , emp b

   where a.deptno = b.deptno ;

   Query Plan

   -------------------------

   SELECT STATEMENT [CHOOSE] Cost=5

   NESTED LOOPS

   TABLE ACCESS FULL DEPT [ANALYZED]

   TABLE ACCESS FULL EMP [ANALYZED]

   3 ,哈希连接( Hash Join , HJ )

  这种连接是在 oracle 7.3 以后引入的,从理论上来说比 NL 与 SMJ 更高效,而且只用在 CBO 优化器中。

  较小的 row source 被用来构建 hash table 与 bitmap ,第 2 个 row source 被用来被 hansed ,并与第一个 row source 生成的 hash table 进行匹配,以便进行进一步的连接。 Bitmap 被用来作为一种比较快的查找方法,来检查在 hash table 中是否有匹配的行。特别的,当 hash table 比较大而不能全部容纳在内存中时,这种查找方法更为有用。这种连接方法也有 NL 连接中所谓的驱动表的概念,被构建为 hash table 与 bitmap 的表为驱动表,当被构建的 hash table 与 bitmap 能被容纳在内存中时,这种连接方式的效率极高。

   HASH 连接的例子:

   SQL> explain plan for

   select /*+ use_hash ( emp ) */ empno

   from emp , dept

   where emp.deptno = dept.deptno ;

   Query Plan

   ----------------------------

   SELECT STATEMENT[CHOOSE] Cost=3

   HASH JOIN

   TABLE ACCESS FULL DEPT

   TABLE ACCESS FULL EMP

  要使哈希连接有效,需要设置 HASH_JOIN_ENABLED=TRUE ,缺省情况下该参数为 TRUE ,另外,不要忘了还要设置 hash_area_size 参数,以使哈希连接高效运行,因为哈希连接会在该参数指定大小的内存中运行,过小的参数会使哈希连接的性能比其他连接方式还 要低。

 

最后,总结一下,在哪种情况下用哪种连接方法比较好:

  排序 - - 合并连接( Sort Merge Join , SMJ ):

   a ) 对于非等值连接,这种连接方式的效率是比较高的。

   b ) 如果在关联的列上都有索引,效果更好。

   c ) 对于将 2 个较大的 row source 做连接,该连接方法比 NL 连接要好一些。

   d ) 但是如果 sort merge 返回的 row source 过大,则又会导致使用过多的 rowid 在表中查询数据时,数据库性能下降,因为过多的 I/O.

  嵌套循环( Nested Loops , NL ):

   a ) 如果 driving row source (外部表)比较小,并且在 inner row source (内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。

   b ) NESTED LOOPS 有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。

  哈希连接( Hash Join , HJ ):

   a ) 这种方法是在 oracle7 后来引入的,使用了比较先进的连接理论,一般来说,其效率应该好于其它 2 种连接,但是这种连接只能用在 CBO 优化器中,而且需要设置合适的 hash_area_size 参数,才能取得较好的性能。

   b ) 在 2 个较大的 row source 之间连接时会取得相对较好的效率,在一个 row source 较小时则能取得更好的效率。

   c ) 只能用于等值连接中

本文源地址:http://blogold.chinaunix.net/u3/114549/showart_2536704.html



-------------------------------------------------------------------------------------------------------------------
来源:

一、  hash join概念
     hash join(HJ)是一种用于equi-join(而anti-join就是使用NOT IN时的join)的技术。在Oracle中,它是从7.3开始引入的,
以代替sort-merge和nested-loop join方式,提高效率。在CBO(hash join只有在CBO才可能被使用到)模式下,优化器计算代价时,
首先会考虑hash join。
     可以通过提示use_hash来强制使用hash join,也可以通过修改会话或数据库参数HASH_JOIN_ENABLED=FALSE(默认为TRUE)强
制不使用hash join。
     Hash join的主要资源消耗在于CPU(在内存中创建临时的hash表,并进行hash计算),而merge join的资源消耗主要在于此盘IO
(扫描表或索引)。在并行系统中,hash join对CPU的消耗更加明显。所以在CPU紧张时,最好限制使用hash join。
     在绝大多数情况下,hash join效率比其他join方式效率更高:
     在Sort-Merge Join(SMJ),两张表的数据都需要先做排序,然后做merge。因此效率相对最差;
     Nested-Loop Join(NL)效率比SMJ更高。特别是当驱动表的数据量很大(集的势高)时。这样可以并行扫描内表。
     Hash join效率最高,因为只要对两张表扫描一次。

     Hash join一般用于一张小表和一张大表进行join时。Hash join的过程大致如下(下面所说的内存就指sort area,关于过程,后
面会作详细讨论):
1.  一张小表被hash在内存中。因为数据量小,所以这张小表的大多数数据已经驻入在内存中,剩下的少量数据被放置在临时表空间中;
2.  每读取大表的一条记录,就和小表中内存中的数据进行比较,如果符合,则立即输出数据(也就是说没有读取临时表空间中的小表的数
据)。而如果大表的数据与小表中临时表空间的数据相符合,则不直接输出,而是也被存储临时表空间中。
3.  当大表的所有数据都读取完毕,将临时表空间中的数据以其输出。

     如果小表的数据量足够小(小于hash area size),那所有数据就都在内存中了,可以避免对临时表空间的读写。

     如果是并行环境下,前面中的第2步就变成如下了:
2.  每读取一条大表的记录,和内存中小表的数据比较,如果符合先做join,而不直接输出,直到整张大表数据读取完毕。如果内存足够,
Join好的数据就保存在内存中。否则,就保存在临时表空间中。
二、  Oracle中与hash join相关的参数
     首先,要注意的是,hash join只有在CBO方式下才会被激活。在oracle中与hash join相关的参数主要有以下几个:
1.             HASH_JOIN_ENABLED
     这个参数是控制查询计划是否采用hash join的“总开关”。它可以在会话级和实例级被修改。默认为TRUE,既可以(不是一定,要看优
化器计算出来的代价)使用。如果设为FALSE,则禁止使用hash join。
2.             HASH_AREA_SIZE
     这个参数控制每个会话的hash内存空间有多大。它也可以在会话级和实例级被修改。默认(也是推荐)值是sort area空间大小的两倍
(2*SORT_AREA_SIZE)。要提高hash join的效率,就一定尽量保证sort area足够大,能容纳下整个小表的数据。但是因为每个会话都会
开辟一个这么大的内存空间作为hash内存,所以不能过大(一般不建议超过2M)。
     在Oracle9i及以后版本中,Oracle不推荐在dedicated server中使用这个参数来设置hash内存,而是推荐通过设置
PGA_AGGRATE_TARGET参数来自动管理PGA内存。保留HASH_AREA_SIZE只是为了向后兼容。在dedicated server中,hash area是从
PGA中分配的,而在MTS(Multi-Threaded Server)中,hash area是从UGA中分配的。
     另外,还要注意的是,每个会话并不一定只打开一个hash area,因为一个查询中可能不止一个hash join,这是就会相应同时打开多个
hash area。
3.             HAHS_MULTIBLOCK_IO_COUNT
     这个参数决定每次读入hash area的数据块数量。因此它会对IO性能产生影响。他只能在init.ora或spfile中修改。在8.0及之前版本,
它的默认值是1,在8i及以后版本,默认值是0。一般设置为1-(65536/DB_BLOCK_SIZE)。
     在9i中,这个参数是一个隐藏参数:_HASH_MULTIBLOCK_IO_COUNT,可以通过表x$ksppi查询和修改。
     另外,在MTS中,这个参数将不起作用(只会使用1)。
     它的最大值受到OS的IO带宽和DB_BLOCK_SIZE的影响。既不能大于MAX_IO_SIZE/DB_BLOCK_SIZE。
     在8i及以后版本,如果这个值设置为0,则表示在每次查询时,Oracle自己自动计算这个值。这个值对IO性能影响非常大,因此,建议不要
修改这个参数,使用默认值0,让Oracle自己去计算这个值。
     如果一定要设置这个值,要保证以下不等式能成立:
     R/M < Po2(M/C)
     其中,R表示小表的大小;M=HASH_AREA_SIZE*0.9;Po2(n)为n的2次方;C=HASH_MULTIBLOCK_IO_COUNT*DB_BLOCK_SIZE。
三、  Hash join的过程
     一次完整的hash join如下:
1.             计算小表的分区(bucket)数
     决定hash join的一个重要因素是小表的分区(bucket)数。这个数字由hash_area_size、hash_multiblock_io_count和
db_block_size参数共同决定。Oracle会保留hash area的20%来存储分区的头信息、hash位图信息和hash表。因此,这个数字的计算公式是:
     Bucket数=0.8*hash_area_size/(hash_multiblock_io_count*db_block_size)
2.             Hash计算   
     读取小表数据(简称为R),并对每一条数据根据hash算法进行计算。Oracle采用两种hash算法进行计算,计算出能达到最快速度的hash值
(第一hash值和第二hash值)。而关于这些分区的全部hash值(第一hash值)就成为hash表。
3.             存放数据到hash内存中
     将经过hash算法计算的数据,根据各个bucket的hash值(第一hash值)分别放入相应的bucket中。第二hash值就存放在各条记录中。
4.             创建hash位图
     与此同时,也创建了一个关于这两个hash值映射关系的hash位图。
5.             超出内存大小部分被移到磁盘
     如果hash area被占满,那最大一个分区就会被写到磁盘(临时表空间)上去。任何需要写入到磁盘分区上的记录都会导致磁盘分区被更新。这
样的话,就会严重影响性能,因此一定要尽量避免这种情况。
     2-5一直持续到整个表的数据读取完毕。
6.             对分区排序
     为了能充分利用内存,尽量存储更多的分区,Oracle会按照各个分区的大小将他们在内存中排序。
7.             读取大表数据,进行hash匹配
     接下来就开始读取大表(简称S)中的数据。按顺序每读取一条记录,计算它的hash值,并检查是否与内存中的分区的hash值一致。如果是,返
回join数据。如果内存中的分区没有符合的,就将S中的数据写入到一个新的分区中,这个分区也采用与计算R一样的算法计算出hash值。也就是说这些
S中的数据产生的新的分区数应该和R的分区集的分区数一样。这些新的分区被存储在磁盘(临时表空间)上。
8.             完全大表全部数据的读取
     一直按照7进行,直到大表中的所有数据的读取完毕。

9.             处理没有join的数据
     这个时候就产生了一大堆join好的数据和从R和S中计算存储在磁盘上的分区。
10.       二次hash计算
     从R和S的分区集中抽取出最小的一个分区,使用第二种hash函数计算出并在内存中创建hash表。采用第二种hash函数的原因是为了使数据分布
性更好。
11.       二次hash匹配
     在从另一个数据源(与hash在内存的那个分区所属数据源不同的)中读取分区数据,与内存中的新hash表进行匹配。返回join数据。
12.       完成全部hash join
     继续按照9-11处理剩余分区,直到全部处理完毕。

     整个hash join就完成了。

四、  关于唯一健值的hash位图
     这个位图包含了每个hash分区是否有有值的信息。它记录了有数据的分区的hash值。这个位图的最大作用就是,如果S表中的数据没有与内存中的
hash表匹配上,先查看这个位图,已决定是否将没有匹配的数据写入磁盘。那些不可能匹配到的数据(即位图上对应的分区没有数据)就不再写入磁盘。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26613085/viewspace-1103385/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-01-12

  • 博文量
    161
  • 访问量
    1235423