-
编辑 删除
sqlldr性能调优测试
接着续上次提到的sqlldr的性能问题，加载一个表数据400多万条记录，竟然用了6个多小时。最后大家争论不休的时候，我发现应该是网络的问题。http://blog.itpub.net/23718752/viewspace-1182534/今天客户IT的同事把网络做了调整，他们就想看看到底改进有多大。下面是测试的一些记录。 àoriginal logs for issue ...
-
编辑 删除
impdp ORA-39002,ORA-39166,ORA-39164的问题及解决
今天在做imp和impdp的性能测试时，发现如果表中存在lob字段，加载真是慢的厉害，每秒钟大概1000条的样子，按照这种速度，基本上不用干活了。比如5千万条记录，50000000/1000/60/60=13.89小时，时间是无法接受的。所以尝试使用impdp来看看性能的提升。导出的表里面有9千万条记录，而且做了分区，分区大概有300个。如果使...
-
编辑 删除
sql语句的简化
今天碰到一个sql语句简化的问题，虽然也不复杂，但是也值得从中学习一些东西SELECT MOD(((SELECT TO_NUMBER(TO_CHAR(LOGICAL_DATE, 'YYYY')) FROM SMALL_TAB WHERE LOGICAL_DATE_TYPE = 'R' &nb...
-
编辑 删除
impdp异常中断导致的问题
今天查看数据库的负载，发现cpu消耗异常的高。里面有不少dw的进程.但是查看impdp的进程却不存在。查看datapump的进程情况，发现大量的job，但是状态都是not running.select * from dba_datapump_jobs where owner_name='MIG_TEST';SYS_IMPORT_TABLE_01 SYS_IMPORT_TABLE_02 SYS_IMPORT_TABLE_03 SYS...
-
编辑 删除
一次数据库响应缓慢的问题排查
今天客户说有一个job跑的特别慢。想看看到底是不是数据库这边有什么问题了。使用top来查看，io wait奖金30%，已经算是负载比较重的了。和客户确认从什么时候发现速度开始变慢的，他们说大概是从中午以后。使用sar来看一下，确实是从iowait从:1:00开始有了大量的io 10:40:01AM &...
-
编辑 删除
insert中启用错误日志的问题及分析
在平时的工作中，有时候需要insert一批数据，这些数据可能是临时表，外部表，普通表，子查询等形式，类似下面的格式insert into xxxx (select xxxxx from xxx where xxxxx);如果其中有冗余数据的时候，整个Insert会自动rollback,一条数据也插不进去，错误类似下面的形式。insert /*+ append */into mo1_memo select *fro...
-
编辑 删除
一次数据库无法登陆的"问题"及排查
继昨天发生san存储切换导致io等待异常高的问题后，晚上客户对测试环境的数据库进行了远程启动，因为库比较多，监控process都起来了。客户就发邮件通知测试组继续测试。结果早上测试反馈有一个库怎么都等不了。他们提供的日志如下：sqlplus test3c/xxxx@testdbSQL*Plus: Release 11.2.0.2.0 Production on Sat Jun 21 12...
-
编辑 删除
巧用shell脚本生成快捷脚本
在升级的过程中，可能需要准备一些额外的脚本，比如说做数据迁移的时候为了考虑性能，需要做如下的额外工作：1.将部分表置为nologging2.将部分index置为nologging3.将部分foreign key constraint置为disable4.将部分trigger 置为disable在完成数据升级后，再置为logging,enable状态。但是在准备脚本的过程中，总是为...
-
编辑 删除
数据紧急修复之启用错误日志
昨晚对测试环境进行了升级，同步了部分生产的数据。整个过程比较顺利，但是在最后一步启用foreign key constraint的时候报了错误。ora-02298:cannot validate(xxxx.xxxx_fk) -parent keys not found很明显是一部分数据没有同步到，有一部分数据丢失了。和开发做了确认，从生产中根据条件导出了一个dump,关联的表有100多个...
-
编辑 删除
使用shell进行日志分析
最近做数据批量加载的时候，是通过pl/sql嵌在shell脚本里执行的。脚本运行后生成的日志类似如下的格式Get Dump file for APP_TMP.TESTRESS_NAME_LINK...Elapsed: 00:00:00.64.DB details is accessible from source schema ....DB details is accessible from target schema ....Directory ext_datapump_dir...
-
编辑 删除
数据迁移中需要考虑的问题
在生产环境中，做数据迁移需要考虑很多的可能性和场景，尽量排除可能发生的问题。我自己总结了下，大体有如下需要注意的地方。1）充分的测试，评估时间，总结经验，提升性能在生产中进行数据的大批量迁移时，充分的测试时必须的。一方面可以根据这些测试积累一些必要的数据作为生产中使用参考，另外一方面可以基于之前的...
-
编辑 删除
生产环境数据迁移问题汇总
在测试环境中做了3轮数据迁移的演练，最终到了生产环境中，还是出现了不少问题，经过大半夜的奋战，终于是数据都迁移成功了。1）共享存储的配置问题共享存储使用NFS来共享存储，但是在实际操作中发现配置出了问题，原因是因为两台服务器上的用户不同在，目标机器上没有任何写权限。-rw-r--r-- 1 3160 dba ...
-
编辑 删除
生产环境sqlldr加载性能问题及分析之一
在测试环境中进行了多轮测试，使用sqlldr批量加载数据，csv文件大概有120G左右，在一致的数据量的情况下，测试环境都在一个小时左右，但是在生产环境中竟然跑了将近2个小时，性能差了一倍。而且生产环境的服务器配置还要好一些。对于这个奇怪的问题，尽管说数据第一轮数据迁移已经完成了，对于之后的数据迁移还是很好的参...
-
编辑 删除
只言片语分析datapump的工作原理
datapump是从oracle 10g推出的新的数据导入导出工具，可以说是exp/imp的加强版，主要的亮点在于服务端,结合了direct+parallel，而且从datapump的结构上来说也和exp/imp有很大的差别。而老式的exp/imp还有一套自己的数据字典表需要维护，习惯了exp/imp，突然切换到expdp/impdp还有是一些抵触情绪的，因为从之前的感触中没有...
-
编辑 删除
关于desc的一个奇怪问题及分析
在平时的工作中，desc这个命令可谓短小精悍，可以很方便的查看表结构和not null的情况。今天在生产环境中碰到一个有些奇怪的desc问题。首先是数据迁移组说有一个表的constraint丢了。但是在master中有。这种问题有两种可能，一种就是constraint确实丢了。另一种可能性就是创建的constraint的问题，可以参见： no...
-
编辑 删除
生产环境sqlldr加载性能问题及分析之二
上一节讨论了在数据迁移中发现数据加载的速度一下子慢了很多，和之前在测试环境相比有很大的差距。一个原因就是由于在数据加载的过程中有一些额外的session也在操作访问数据库，造成了undo的使用率急剧上升，数据库负载从某种程度上也加剧了。通过查看awr,ash报告可以发现更多的内容。测试环境的数据库负载情况Load P...
-
编辑 删除
巧用parallel极速提升数据加载速度
并行在平时工作中可能不是很注意，因为有时候即使设定了parallel 相关的hint，感觉性能也好不到哪去。今天通过一个案例来分享一下通过parallel来使数据加载的速度达到极速提升。现有一个很让人头疼的表，里面还有clob字段，通过exp/imp来导出导入数据，导出慢还可以接受，导入的速度大概在一秒钟1000条的速度，对于千万，...
-
编辑 删除
对分区表导入导出的水平,垂直切分
在工作中有时候碰到一些分区表，业务数据量很大，可能几百G，上T的规模，而且做数据的导入导出的时候，会感觉到exp/expdp的时候生成的dump文件太大了，做导入的时候也是很重的负担。比如500G的dump，你在使用imp做导入的时候，别无选择，只能看着日志里partition里的数据一个一个被导入。impdp可能稍微好点，还能指定个并...
-
编辑 删除
循序渐进调优union相关的sql
今天在生产中发现一条sql语句消耗了大量的cpu资源。 PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND &...
-
编辑 删除
使用动态变量进行动态数据比较
现在有一个需求，输入一串数，输入的数个数还不固定，需要得到最小的那个数和对应的下标如果说传入的数的个数固定，直接用for循环来得到最值 其实也不难。使用编程语言java,c等都可以实现。使用动态变量可以很方便的初始化多个变量，对传入的数进行统计和比较。动态变量的初始化有如下几种形式：param_no=$##初...
