ITPub博客

首页 > 数据库 > Oracle > Oracle数据加载速度优化

Oracle数据加载速度优化

原创 Oracle 作者:wzq609 时间:2017-11-28 15:35:59 0 删除 编辑
【说明】本文档介绍如何将大量的数据加载到一张表中,并需要尽可能地插入新数据;
【解决方法】
  • 将表的日志属性设置为NOLOGGING。
  • 在使用子查询来确定要插入哪些记录时,在查询中加入INSERT /*+ APPEND */
  • 使用VALUES子句的查询中加入INSERT /*+ APPEND */
  • 使用CREATE TABLE ... AS SELECT语句。

【实验测试】
1、创建测试表
SQL> create table T01  as select * from all_users where 1=0;

2、查看表的状态
SQL> select table_name, logging  from user_tables    where table_name = 'T01';

TABLE_NAME       LOG
-------------   ---------------- 
T01          YES

3、修改表为NOLOGGING
alter table T01 nologging;

4、创建表TT并插入大量的数据,用于等下对比用;
SQL> create table TT as select * from all_users ;
SQL> INSERT INTO TT SELECT * FROM TT;  (反复执行)
SQL> SELECT COUNT(1) FROM TT;  
  COUNT(1)
----------
   1245184

5、创建对比表T02,没有进行任何优化操作;
SQL> create table T02 as select * from all_users where 1=0;

6、进行数据的插入测试

采用直接路径操作与NOLOGGING的方法:
消耗的时间时6.15s
SQL> timing start kk 
SQL> insert /*+ APPEND */ into t01 select * from TT; 
1245184 rows created.
SQL>  timing show;
Elapsed: 00:00:06.15

常规的方法,显示需要的时间为:15.39
SQL> timing start kk  ;
SQL> insert /*+ APPEND */ into t02 select * from TT;
1245184 rows created.
SQL> timing show;
  timing for: kk
Elapsed: 00:00:15.39

总结:经过测试通过直接路径插入和nologging的方式确实可以明显的提升数据的加载速度;
1、因为通过nologging可以产生最少量的重做;
2、避开了缓冲区缓存,直接将数据加载到数据文件中,提高了加载的效率。

但是同时这种方法也存在着以下的问题,毕竟不能什么好事都占完吧。不然oracle早就设置成默认的配置了;
  • 当使用直接路径向表中插入数据的时候,Oracle将会自动把心的数据行插入到高水位线之上,这可能导致表占用大量的磁盘空间;
  • 确保提交了通过直接路径加载的数据,否则将不能看到这些数据。因为Oracle会报0RA-12838的错误,表明直接路径加载的数据在能够查询之前必须先提交。
  • 如果T01数据插入之后(插入之前有进行备份),系统由于介质故障需要进行恢复,这个时候把表RESTORE到故障之前,然后再RECOVER恢复到故障点,这个时候表T01的数据是不能被恢复的;

【总结】以上这种数据的加载方式并不适用于生产过程中的重要业务数据,比较适合一些类似报表类或中间库的数据抽取或比对数据的抽取;

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/12679300/viewspace-2147868/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2013-06-16

  • 博文量
    173
  • 访问量
    2889749