ITPub博客

首页 > Linux操作系统 > Linux操作系统 > Oracle 11g Advanced Compression(上)

Oracle 11g Advanced Compression(上)

原创 Linux操作系统 作者:realkid4 时间:2011-09-12 22:37:57 0 删除 编辑

 

随着海量数据时代的到来,TBEB级别的数据库已经出现在很多企业系统中。相对几何级别增长的数据量,存储似乎是一个水涨船高不能填满的空洞。数据表级别的压缩,是一定程度上缓解海量数据存储的一个解决方案。

 

Oracle的产品发展历程中,数据表压缩compress技术,一直是一个不断提高和进化的方面。在Oracle 11g中,Advanced Compression技术的推出,就是Oracle压缩技术成熟的重要标志。

 

1Oracle Compression压缩

 

简单的说,Oracle压缩采用的是“重复值消除”(Eliminating Duplicate Values)算法。在数据库块级别,Oracle将压缩数据保存在数据块block中,解压数据使用的所有信息也都保存在各自的数据块内。如果存在数据行或者数据列重复的情况,只在块头保存一次。这些只保存一次的数据,称为“symbol table for that block”(该数据块的符号表)。每个数据行如果使用这些符号表重复数据,只需要保存一个符号表记录的“short reference”。

 

Compression类型上,Oracle根据数据表的操作类型,提供两种类型的压缩:

 

ü        Compress for direct_load operation:直接路径压缩,也是默认的压缩方式。该选项适合于Data warehouse类型系统,该类型系统没有很频繁的DML操作,数据加载方式也大都是使用批量加载;

ü        Compress for all operation:是Advanced Compression的一个特点。通常的压缩技术对于DML操作的影响是巨大的。Advanced Compression的这个选择类型,就是为OLTP系统准备。该选项为所有的DML操作开启了压缩功能;

 

 

2Advanced Compression适应范围

 

Oracle 11gAdvaced Compression组件适应范围较广,几乎涉及到所有空间存储对象。

 

ü        OLTP数据表压缩

 

Oracle最早从9i版本中,提供了压缩compression功能。早期的compression允许数据表在进行批量加载操作(bulk load operation)是对数据进行压缩,比如direct path loadsql loader)、create table as select…操作(CTAS)。这种方式适应数据仓库(Data warehouse)类型系统。

 

Advanced Compression技术组件提供了对各种类型操作进行压缩的技术,包括了常规的DML insertupdate操作。具体包括下列操作:

 

1)        直接路径加载,如sql loader

2)        Create table xxx as select xx操作(CTAS);

3)        并行parallel(或者串行使用append提示的插入)语句;

4)        单行或者多行插入;

5)        单行或者多行更新;

 

在使用一些数据管理语句,如move操作的时候,在执行阶段就会对数据表加以exclusive级别数据锁,禁止进行DML操作。操作结束时,数据表还是能够保证压缩状态。

 

对压缩数据表,进行DML操作的性能损耗可以做到最小。这也是Advanced Compression最大特色。

 

ü        Secure File压缩和消重复(Compression and DeDuplication

 

Secure File Deduplication是用于消除重复Secur File数据的智能化技术。Oracle可以将重复的多份Secure File数据只保存一份,其他保存都是对该文件的一个镜像引用。这样做就可以大大减少空间占用。

 

ü        Data Dump数据泵压缩

 

数据泵data dumpOracle 10g推出的替代原来imp/exp工具的高性能数据备份还原工具。使用数据泵将数据export导出的时候,data dump comprssion就将数据表压缩后存储在DMP文件中。在导入的时候,数据泵会自动将压缩的表数据进行解压。

 

ü        RMAN压缩

 

RMANOracle主推的备份还原工具在写入磁盘disk或者磁带tape之前,就已经是压缩过的备份数据。在进行还原操作的时候,是不要进行显示的解压工作。这样对于保存的完全、增量备份集合set来说,是非常好的优质特性。

 

ü        DataGuard Network Compress

 

DataGuardOracle HAHigh Availability)的重要组成部分。Primary DatabaseStandby Database之间,通过网络建立实时连接。Primary Database的任何数据变化,都会以redo log的方式持续传入到standby database上,进行apply应用过程。最终实现一致性。

 

使用Oracle Advanced Compression技术,可以对网路中传输的redo data进行压缩,从而减少redo gap。最终让standby database可以更快的进行同步,实现HA目标。

 

 

最后特别说一下关于Advanced Compression lisence问题,在11g之前使用Compress是不需要单独的许可费用的。从11g开始,Advanced Compression需要单独许可使用,额外进行收费。

 

下面我们通过一系列实验来演示table compression的使用。

 

3、实验环境准备

 

首先我们准备实验环境,构建一个相对较大的数据表。

 

 

SQL> select * from v$version;

 

BANNER

--------------------------------------------------------------------------------

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production

PL/SQL Release 11.2.0.1.0 - Production

CORE     11.2.0.1.0       Production

 

TNS for Linux: Version 11.2.0.1.0 - Production

NLSRTL Version 11.2.0.1.0 – Production

 

SQL> select * from v$option where parameter='Advanced Compression';

 

PARAMETER            VALUE

-------------------- ----------------------------------------------------------------

Advanced Compression TRUE

 

 

构建数据表t_ori,其中包括21万余条数据。

 

 

SQL> create table t_ori as select * from dba_objects;

Table created

 

SQL> select count(*) from t_ori;

  COUNT(*)

----------

    217731

 

SQL> exec dbms_stats.gather_table_stats(user,'T_ORI',cascade => true);

PL/SQL procedure successfully completed

 

 

从数据字典中,我们可以清晰的看到数据表空间分配。

 

 

SQL> select segment_name, count(*) extents, sum(blocks) blocks,sum(bytes)/1024/1024 MBs from dba_extents where wner='SYS' and segment_name='T_ORI' group by segment_name;

 

SEGMENT_NAME            EXTENTS     BLOCKS        MBS

-------------------- ---------- ---------- ----------

T_ORI                        40       3200         25

 

 

SQL> SELECT table_name, compression, compress_for FROM dba_tables where table_name='T_ORI';

 

TABLE_NAME                     COMPRESSION COMPRESS_FOR

------------------------------ ----------- ------------

T_ORI                          DISABLED   

 

 

4Compress For Direct_Load Operation

 

首先我们使用compress常规选项。

 

 

SQL> create table t_compress compress as select * from t_ori where 1=0;

 

Table created

 

SQL> SELECT table_name, compression, compress_for FROM dba_tables where table_name in ('T_ORI','T_COMPRESS');

 

TABLE_NAME                     COMPRESSION COMPRESS_FOR

------------------------------ ----------- ------------

T_ORI                          DISABLED   

T_COMPRESS                     ENABLED     BASIC

 

 

在创建数据表时,使用compress子句,就可以创建出具有压缩功能的数据表。从数据字典看,T_COMPRESS开启了压缩功能,是Basic类型。

 

Compress对应的就是compress for direct_load operations压缩类型。使用传统的压缩方式,适合data warehouse类型。

 

 

SQL> create table t_compdir compress for direct_load operations as select * from t_ori;

 

Table created

 

Executed in 0.829 seconds

 

 

SQL> SELECT table_name, compression, compress_for FROM dba_tables where table_name in ('T_ORI','T_COMPRESS', 'T_COMPDIR');

 

TABLE_NAME                     COMPRESSION COMPRESS_FOR

------------------------------ ----------- ------------

T_COMPDIR                      ENABLED     BASIC

T_ORI                          DISABLED   

T_COMPRESS                     ENABLED     BASIC

 

 

如果对数据表使用append方式添加数据,是使用direct load加载数据。

 

 

SQL> insert /*+append */into t_compress select * from t_ori;

217731 rows inserted

 

Executed in 0.563 seconds

 

SQL> commit;

Commit complete

 

Executed in 0 seconds

 

SQL> select segment_name, count(*) extents, sum(blocks) blocks,sum(bytes)/1024/1024 MBs from dba_extents where wner='SYS' and segment_name in ('T_ORI','T_COMPRESS','T_COMPDIR') group by segment_name;

 

SEGMENT_NAME            EXTENTS     BLOCKS        MBS

-------------------- ---------- ---------- ----------

T_COMPDIR                    22        896          7

T_COMPRESS                   37       2816         22

T_ORI                        40       3200         25

 

Executed in 0.078 seconds

 

 

上面实验,我们可以对比出在进行不同操作时advanced compression的特性。对于compress for direct_load operations操作,使用CTAS操作的压缩率较高。原数据表大小为25M,使用CTAS操作生成的数据表T_COMPDIR大小只有7M,压缩率仅三分之二。

 

但是,如果使用append提示进行插入操作,虽然也会有压缩效果,但是压缩效果远不如CTAS,压缩后的数据表为22M

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/17203031/viewspace-707209/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
求道~

注册时间:2010-11-30

  • 博文量
    545
  • 访问量
    7688254