ITPub博客

首页 > 数据库 > Oracle > HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)

HASH JOIN ,MERGE JOIN ,NESTED LOOP(R2)

Oracle 作者:thamsyangsw 时间:2014-03-07 21:58:38 0 删除 编辑

  1 ,排序 - - 合并连接( Sort Merge Join SMJ

  内部连接过程:

   1 首先生成 row source1 需要的数据,然后对这些数据按照连接操作关联列(如 A.col3 )进行排序。

   2 随后生成 row source2 需要的数据,然后对这些数据按照与 sort source1 对应的连接操作关联列(如 B.col4 )进行排序。

   3 最后两边已排序的行被放在一起执行合并操作,即将 2 row source 按照连接条件连接起来

  下面是连接步骤的图形表示:

                 MERGE

                /           /

         SORT           SORT

            |                   |

   Row Source 1  Row Source 2

  如果 row source 已经在连接关联列上被排序,则该连接操作就不需要再进行 sort 操作,这样可以大大提高这种连接操作的连接速度,因为排序是个极其费资源的操 作,特别是对于较大的表。预先排序的 row source 包括已经被索引的列(如 a.col3 b.col4 上有索引)或 row source 已经在前面的步骤中被排序了。尽管合并两个 row source 的过程是串行的,但是可以并行访问这两个 row source (如并行读入数据,并行排序)。

   SMJ 连接的例子:

   SQL> explain plan for

   select /*+ ordered */ e.deptno d.deptno

   from emp e dept d

   where e.deptno = d.deptno

   order by e.deptno d.deptno

   Query Plan

   -------------------------------------

   SELECT STATEMENT [CHOOSE] Cost=17

   MERGE JOIN

   SORT JOIN

   TABLE ACCESS FULL EMP [ANALYZED]

   SORT JOIN

   TABLE ACCESS FULL DEPT [ANALYZED]

  排序是一个费时、费资源的操作,特别对于大表。基于这个原因, SMJ 经常不是一个特别有效的连接方法,但是如果 2 row source 都已经预先排序,则这种连接方法的效率也是蛮高的。

   2 ,嵌套循环( Nested Loops NL

  这个连接方法有驱动表(外部表)的概念。其实,该连接过程就是一个 2 层嵌套循环,所以外层循环的次数越少越好,这也就是我们为什么将小表或返回较小 row source 的表作为驱动表(用于外层循环)的理论依据。但是这个理论只是一般指导原则,因为遵循这个理论并不能总保证使语句产生的 I/O 次数最少。有时 不遵守这个理论依据,反而会获得更好的效率。如果使用这种方法,决定使用哪个表作为驱动表很重要。有时如果驱动表选择不正确,将会导致语句的性能很差、很差。

  内部连接过程:

   Row source1 Row 1 —— Probe ->Row source 2

   Row source1 Row 2 —— Probe ->Row source 2

   Row source1 Row 3 —— Probe ->Row source 2

  ……。

   Row source1 Row n —— Probe ->Row source 2

  从内部连接过程来看,需要用 row source1 中的每一行,去匹配 row source2 中的所有行,所以此时保持 row source1 尽可能的小与高效的访问 row source2 (一般通过索引实现)是影响这个连接效率的关键问题。这只是理论指导原则,目的是使整个连接操作产生最少的物理 I/O 次数,而且如果遵守这 个原则,一般也会使总的物理 I/O 数最少。但是如果不遵从这个指导原则,反而能用更少的物理 I/O 实现连接操作,那尽管违反指导原则吧!因为最少的物理 I/O 次数才是我们应该遵从的真正的指导原则,在后面的具体案例分析中就给出这样的例子。

  在上面的连接过程中,我们称 Row source1 为驱动表或外部表。 Row Source2 被称为被探查表或内部表。

  在 NESTED LOOPS 连接中, Oracle 读取 row source1 中的每一行,然后在 row sourc2 中检查是否有匹配的行,所有被匹配的行都被放到结果集中,然后处理 row source1 中的下一行。这个过程一直继续,直到 row source1 中的所有行都被处理。这是从连接操作中可以得到第一个匹配行的最快的方法之一,这种类型的连接可以用在需要快速响应的语句中,以响应速度为 主要目标。

  如果 driving row source (外部表)比较小,并且在 inner row source (内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。 NESTED LOOPS 有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。

  如果不使用并行操作,最好的驱动表是那些应用了 where 限制条件后,可以返回较少行数据的的表,所以大表也可能称为驱动表,关键看限制条件。对于并行查询,我们经常选择大表作为驱动表,因为大表可以充分利用并 行功能。当然,有时对查询使用并行操作并不一定会比查询不使用并行操作效率高,因为最后可能每个表只有很少的行符合限制条件,而且还要看你的硬件配置是否 可以支持并行(如是否有多个 CPU ,多个硬盘控制器),所以要具体问题具体对待。

   NL 连接的例子:

   SQL> explain plan for

   select a.dname b.sql

   from dept a emp b

   where a.deptno = b.deptno

   Query Plan

   -------------------------

   SELECT STATEMENT [CHOOSE] Cost=5

   NESTED LOOPS

   TABLE ACCESS FULL DEPT [ANALYZED]

   TABLE ACCESS FULL EMP [ANALYZED]

   3 ,哈希连接( Hash Join HJ

  这种连接是在 oracle 7.3 以后引入的,从理论上来说比 NL SMJ 更高效,而且只用在 CBO 优化器中。

  较小的 row source 被用来构建 hash table bitmap ,第 2 row source 被用来被 hansed ,并与第一个 row source 生成的 hash table 进行匹配,以便进行进一步的连接。 Bitmap 被用来作为一种比较快的查找方法,来检查在 hash table 中是否有匹配的行。特别的,当 hash table 比较大而不能全部容纳在内存中时,这种查找方法更为有用。这种连接方法也有 NL 连接中所谓的驱动表的概念,被构建为 hash table bitmap 的表为驱动表,当被构建的 hash table bitmap 能被容纳在内存中时,这种连接方式的效率极高。

   HASH 连接的例子:

   SQL> explain plan for

   select /*+ use_hash emp */ empno

   from emp dept

   where emp.deptno = dept.deptno

   Query Plan

   ----------------------------

   SELECT STATEMENT[CHOOSE] Cost=3

   HASH JOIN

   TABLE ACCESS FULL DEPT

   TABLE ACCESS FULL EMP

  要使哈希连接有效,需要设置 HASH_JOIN_ENABLED=TRUE ,缺省情况下该参数为 TRUE ,另外,不要忘了还要设置 hash_area_size 参数,以使哈希连接高效运行,因为哈希连接会在该参数指定大小的内存中运行,过小的参数会使哈希连接的性能比其他连接方式还 要低。

 

最后,总结一下,在哪种情况下用哪种连接方法比较好:

  排序 - - 合并连接( Sort Merge Join SMJ ):

   a 对于非等值连接,这种连接方式的效率是比较高的。

   b 如果在关联的列上都有索引,效果更好。

   c 对于将 2 个较大的 row source 做连接,该连接方法比 NL 连接要好一些。

   d 但是如果 sort merge 返回的 row source 过大,则又会导致使用过多的 rowid 在表中查询数据时,数据库性能下降,因为过多的 I/O.

  嵌套循环( Nested Loops NL ):

   a 如果 driving row source (外部表)比较小,并且在 inner row source (内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。

   b NESTED LOOPS 有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。

  哈希连接( Hash Join HJ ):

   a 这种方法是在 oracle7 后来引入的,使用了比较先进的连接理论,一般来说,其效率应该好于其它 2 种连接,但是这种连接只能用在 CBO 优化器中,而且需要设置合适的 hash_area_size 参数,才能取得较好的性能。

   b 2 个较大的 row source 之间连接时会取得相对较好的效率,在一个 row source 较小时则能取得更好的效率。

   c 只能用于等值连接中

本文源地址:http://blogold.chinaunix.net/u3/114549/showart_2536704.html



-------------------------------------------------------------------------------------------------------------------
来源: www.HelloDBA.com

一、  hash join概念
     hash join(HJ)是一种用于equi-join(而anti-join就是使用NOT IN时的join)的技术。在Oracle中,它是从7.3开始引入的,
以代替sort-merge和nested-loop join方式,提高效率。在CBO(hash join只有在CBO才可能被使用到)模式下,优化器计算代价时,
首先会考虑hash join。
     可以通过提示use_hash来强制使用hash join,也可以通过修改会话或数据库参数HASH_JOIN_ENABLED=FALSE(默认为TRUE)强
制不使用hash join。
     Hash join的主要资源消耗在于CPU(在内存中创建临时的hash表,并进行hash计算),而merge join的资源消耗主要在于此盘IO
(扫描表或索引)。在并行系统中,hash join对CPU的消耗更加明显。所以在CPU紧张时,最好限制使用hash join。
     在绝大多数情况下,hash join效率比其他join方式效率更高:
     在Sort-Merge Join(SMJ),两张表的数据都需要先做排序,然后做merge。因此效率相对最差;
     Nested-Loop Join(NL)效率比SMJ更高。特别是当驱动表的数据量很大(集的势高)时。这样可以并行扫描内表。
     Hash join效率最高,因为只要对两张表扫描一次。

     Hash join一般用于一张小表和一张大表进行join时。Hash join的过程大致如下(下面所说的内存就指sort area,关于过程,后
面会作详细讨论):
1.  一张小表被hash在内存中。因为数据量小,所以这张小表的大多数数据已经驻入在内存中,剩下的少量数据被放置在临时表空间中;
2.  每读取大表的一条记录,就和小表中内存中的数据进行比较,如果符合,则立即输出数据(也就是说没有读取临时表空间中的小表的数
据)。而如果大表的数据与小表中临时表空间的数据相符合,则不直接输出,而是也被存储临时表空间中。
3.  当大表的所有数据都读取完毕,将临时表空间中的数据以其输出。

     如果小表的数据量足够小(小于hash area size),那所有数据就都在内存中了,可以避免对临时表空间的读写。

     如果是并行环境下,前面中的第2步就变成如下了:
2.  每读取一条大表的记录,和内存中小表的数据比较,如果符合先做join,而不直接输出,直到整张大表数据读取完毕。如果内存足够,
Join好的数据就保存在内存中。否则,就保存在临时表空间中。
二、  Oracle中与hash join相关的参数
     首先,要注意的是,hash join只有在CBO方式下才会被激活。在oracle中与hash join相关的参数主要有以下几个:
1.             HASH_JOIN_ENABLED
     这个参数是控制查询计划是否采用hash join的“总开关”。它可以在会话级和实例级被修改。默认为TRUE,既可以(不是一定,要看优
化器计算出来的代价)使用。如果设为FALSE,则禁止使用hash join。
2.             HASH_AREA_SIZE
     这个参数控制每个会话的hash内存空间有多大。它也可以在会话级和实例级被修改。默认(也是推荐)值是sort area空间大小的两倍
(2*SORT_AREA_SIZE)。要提高hash join的效率,就一定尽量保证sort area足够大,能容纳下整个小表的数据。但是因为每个会话都会
开辟一个这么大的内存空间作为hash内存,所以不能过大(一般不建议超过2M)。
     在Oracle9i及以后版本中,Oracle不推荐在dedicated server中使用这个参数来设置hash内存,而是推荐通过设置
PGA_AGGRATE_TARGET参数来自动管理PGA内存。保留HASH_AREA_SIZE只是为了向后兼容。在dedicated server中,hash area是从
PGA中分配的,而在MTS(Multi-Threaded Server)中,hash area是从UGA中分配的。
     另外,还要注意的是,每个会话并不一定只打开一个hash area,因为一个查询中可能不止一个hash join,这是就会相应同时打开多个
hash area。
3.             HAHS_MULTIBLOCK_IO_COUNT
     这个参数决定每次读入hash area的数据块数量。因此它会对IO性能产生影响。他只能在init.ora或spfile中修改。在8.0及之前版本,
它的默认值是1,在8i及以后版本,默认值是0。一般设置为1-(65536/DB_BLOCK_SIZE)。
     在9i中,这个参数是一个隐藏参数:_HASH_MULTIBLOCK_IO_COUNT,可以通过表x$ksppi查询和修改。
     另外,在MTS中,这个参数将不起作用(只会使用1)。
     它的最大值受到OS的IO带宽和DB_BLOCK_SIZE的影响。既不能大于MAX_IO_SIZE/DB_BLOCK_SIZE。
     在8i及以后版本,如果这个值设置为0,则表示在每次查询时,Oracle自己自动计算这个值。这个值对IO性能影响非常大,因此,建议不要
修改这个参数,使用默认值0,让Oracle自己去计算这个值。
     如果一定要设置这个值,要保证以下不等式能成立:
     R/M < Po2(M/C)
     其中,R表示小表的大小;M=HASH_AREA_SIZE*0.9;Po2(n)为n的2次方;C=HASH_MULTIBLOCK_IO_COUNT*DB_BLOCK_SIZE。
三、  Hash join的过程
     一次完整的hash join如下:
1.             计算小表的分区(bucket)数
     决定hash join的一个重要因素是小表的分区(bucket)数。这个数字由hash_area_size、hash_multiblock_io_count和
db_block_size参数共同决定。Oracle会保留hash area的20%来存储分区的头信息、hash位图信息和hash表。因此,这个数字的计算公式是:
     Bucket数=0.8*hash_area_size/(hash_multiblock_io_count*db_block_size)
2.             Hash计算   
     读取小表数据(简称为R),并对每一条数据根据hash算法进行计算。Oracle采用两种hash算法进行计算,计算出能达到最快速度的hash值
(第一hash值和第二hash值)。而关于这些分区的全部hash值(第一hash值)就成为hash表。
3.             存放数据到hash内存中
     将经过hash算法计算的数据,根据各个bucket的hash值(第一hash值)分别放入相应的bucket中。第二hash值就存放在各条记录中。
4.             创建hash位图
     与此同时,也创建了一个关于这两个hash值映射关系的hash位图。
5.             超出内存大小部分被移到磁盘
     如果hash area被占满,那最大一个分区就会被写到磁盘(临时表空间)上去。任何需要写入到磁盘分区上的记录都会导致磁盘分区被更新。这
样的话,就会严重影响性能,因此一定要尽量避免这种情况。
     2-5一直持续到整个表的数据读取完毕。
6.             对分区排序
     为了能充分利用内存,尽量存储更多的分区,Oracle会按照各个分区的大小将他们在内存中排序。
7.             读取大表数据,进行hash匹配
     接下来就开始读取大表(简称S)中的数据。按顺序每读取一条记录,计算它的hash值,并检查是否与内存中的分区的hash值一致。如果是,返
回join数据。如果内存中的分区没有符合的,就将S中的数据写入到一个新的分区中,这个分区也采用与计算R一样的算法计算出hash值。也就是说这些
S中的数据产生的新的分区数应该和R的分区集的分区数一样。这些新的分区被存储在磁盘(临时表空间)上。
8.             完全大表全部数据的读取
     一直按照7进行,直到大表中的所有数据的读取完毕。

9.             处理没有join的数据
     这个时候就产生了一大堆join好的数据和从R和S中计算存储在磁盘上的分区。
10.       二次hash计算
     从R和S的分区集中抽取出最小的一个分区,使用第二种hash函数计算出并在内存中创建hash表。采用第二种hash函数的原因是为了使数据分布
性更好。
11.       二次hash匹配
     在从另一个数据源(与hash在内存的那个分区所属数据源不同的)中读取分区数据,与内存中的新hash表进行匹配。返回join数据。
12.       完成全部hash join
     继续按照9-11处理剩余分区,直到全部处理完毕。

     整个hash join就完成了。

四、  关于唯一健值的hash位图
     这个位图包含了每个hash分区是否有有值的信息。它记录了有数据的分区的hash值。这个位图的最大作用就是,如果S表中的数据没有与内存中的
hash表匹配上,先查看这个位图,已决定是否将没有匹配的数据写入磁盘。那些不可能匹配到的数据(即位图上对应的分区没有数据)就不再写入磁盘。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26613085/viewspace-1103385/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2012-01-12

  • 博文量
    160
  • 访问量
    1177028