-
编辑 删除
记一次数据库重启后归档急剧增加的问题
在本地的环境中测试外部表的性能，由于空间有限，不一会儿归档的空间就爆了。然后文件貌似出现了系统级的问题，刚刚rm掉的归档日志文件。隔了几秒钟再ls，就出现了。怎么删都删不掉。尝试了多次之后，无奈尝试shutdown immediate结果等了好半天还是没反应，然后采用shutdown abort后重启，库直接起不来了。报了ora错误，然...
-
编辑 删除
海量数据迁移之外部表并行抽取
在10g开始的新特性中，外部表是一个不容忽视的好工具。对于大型项目中海量数据使用sqlloader是一种全新的方式，不过很明显,sqlloader的可扩展性更强，但是基于oracle平台的数据迁移来说，外部表的性能也不错。对于数据迁移来说也是一个很好的方案。使用外部表来做数据迁移，可以“动态”加载数据，能够很方便的从数据库中...
-
编辑 删除
海量数据迁移之外部表加载
在并行生成了大量的dump文件后，可以在目标环境上对数据进行加载，这个加载的过程时间极短，都基本可以在毫秒级完成。由于在外部表的加载过程中需要知道表结构的定义，所以可以通过如下的脚本得到表定义的基本语句，输出和desc类似。因为目标环境中的表结构可能会和源dump文件中的表结构有一定的出入。所以可以在目标环境...
-
编辑 删除
海量数据迁移之冲突数据筛查
对于数据迁移来说，无论准备工作准备的多么充分，在测试和正式生产环境中，心里还是会对冲突的数据有一些疑虑，心里感觉没底，因为生产的数据也是在不断变化的，要迁移的数据也在做相应的改动，在这样的环境中，其实数据抽取的工作还是顾虑比较少的，只要侧重考虑性能的提升，而在于数据加载的过程中，如果出现主键冲突的字...
-
编辑 删除
sqlldr加载性能问题的排查
最近根据业务需要加载一批数据，在生产环境中不到半个小时就完了，可是到了测试环境，竟然跑了6个多小时，另外测试环境和生产环境的数据情况都基本差不多，主机配置也基本类似。大家的注意力都集中到了sqlldr的加载性能上。等到他们找到我时，已经讨论了不少关于direct,convention加载的各种情况了，看似工作也做了不少了...
-
编辑 删除
数据迁移部分问题总结
按照计划在周二开始了数据迁移,本来之前也做了不少的准备工作。但是还是在迁移的过程中出现了一些问题。简单做一个总结。1.constraint导致的数据reject在数据加载的时候，报了如下的错误。有一些数据记录被reject了，查看后发现是源库和目标库中表的not null constraint导致的，在源库中没有not null constraint，但是...
-
编辑 删除
sqlldr性能调优测试
接着续上次提到的sqlldr的性能问题，加载一个表数据400多万条记录，竟然用了6个多小时。最后大家争论不休的时候，我发现应该是网络的问题。http://blog.itpub.net/23718752/viewspace-1182534/今天客户IT的同事把网络做了调整，他们就想看看到底改进有多大。下面是测试的一些记录。 àoriginal logs for issue ...
-
编辑 删除
impdp ORA-39002,ORA-39166,ORA-39164的问题及解决
今天在做imp和impdp的性能测试时，发现如果表中存在lob字段，加载真是慢的厉害，每秒钟大概1000条的样子，按照这种速度，基本上不用干活了。比如5千万条记录，50000000/1000/60/60=13.89小时，时间是无法接受的。所以尝试使用impdp来看看性能的提升。导出的表里面有9千万条记录，而且做了分区，分区大概有300个。如果使...
-
编辑 删除
sql语句的简化
今天碰到一个sql语句简化的问题，虽然也不复杂，但是也值得从中学习一些东西SELECT MOD(((SELECT TO_NUMBER(TO_CHAR(LOGICAL_DATE, 'YYYY')) FROM SMALL_TAB WHERE LOGICAL_DATE_TYPE = 'R' &nb...
-
编辑 删除
impdp异常中断导致的问题
今天查看数据库的负载，发现cpu消耗异常的高。里面有不少dw的进程.但是查看impdp的进程却不存在。查看datapump的进程情况，发现大量的job，但是状态都是not running.select * from dba_datapump_jobs where owner_name='MIG_TEST';SYS_IMPORT_TABLE_01 SYS_IMPORT_TABLE_02 SYS_IMPORT_TABLE_03 SYS...
-
编辑 删除
一次数据库响应缓慢的问题排查
今天客户说有一个job跑的特别慢。想看看到底是不是数据库这边有什么问题了。使用top来查看，io wait奖金30%，已经算是负载比较重的了。和客户确认从什么时候发现速度开始变慢的，他们说大概是从中午以后。使用sar来看一下，确实是从iowait从:1:00开始有了大量的io 10:40:01AM &...
-
编辑 删除
一次数据库无法登陆的"问题"及排查
继昨天发生san存储切换导致io等待异常高的问题后，晚上客户对测试环境的数据库进行了远程启动，因为库比较多，监控process都起来了。客户就发邮件通知测试组继续测试。结果早上测试反馈有一个库怎么都等不了。他们提供的日志如下：sqlplus test3c/xxxx@testdbSQL*Plus: Release 11.2.0.2.0 Production on Sat Jun 21 12...
-
编辑 删除
数据紧急修复之启用错误日志
昨晚对测试环境进行了升级，同步了部分生产的数据。整个过程比较顺利，但是在最后一步启用foreign key constraint的时候报了错误。ora-02298:cannot validate(xxxx.xxxx_fk) -parent keys not found很明显是一部分数据没有同步到，有一部分数据丢失了。和开发做了确认，从生产中根据条件导出了一个dump,关联的表有100多个...
-
编辑 删除
数据迁移中需要考虑的问题
在生产环境中，做数据迁移需要考虑很多的可能性和场景，尽量排除可能发生的问题。我自己总结了下，大体有如下需要注意的地方。1）充分的测试，评估时间，总结经验，提升性能在生产中进行数据的大批量迁移时，充分的测试时必须的。一方面可以根据这些测试积累一些必要的数据作为生产中使用参考，另外一方面可以基于之前的...
-
编辑 删除
生产环境数据迁移问题汇总
在测试环境中做了3轮数据迁移的演练，最终到了生产环境中，还是出现了不少问题，经过大半夜的奋战，终于是数据都迁移成功了。1）共享存储的配置问题共享存储使用NFS来共享存储，但是在实际操作中发现配置出了问题，原因是因为两台服务器上的用户不同在，目标机器上没有任何写权限。-rw-r--r-- 1 3160 dba ...
-
编辑 删除
生产环境sqlldr加载性能问题及分析之一
在测试环境中进行了多轮测试，使用sqlldr批量加载数据，csv文件大概有120G左右，在一致的数据量的情况下，测试环境都在一个小时左右，但是在生产环境中竟然跑了将近2个小时，性能差了一倍。而且生产环境的服务器配置还要好一些。对于这个奇怪的问题，尽管说数据第一轮数据迁移已经完成了，对于之后的数据迁移还是很好的参...
-
编辑 删除
只言片语分析datapump的工作原理
datapump是从oracle 10g推出的新的数据导入导出工具，可以说是exp/imp的加强版，主要的亮点在于服务端,结合了direct+parallel，而且从datapump的结构上来说也和exp/imp有很大的差别。而老式的exp/imp还有一套自己的数据字典表需要维护，习惯了exp/imp，突然切换到expdp/impdp还有是一些抵触情绪的，因为从之前的感触中没有...
-
编辑 删除
关于desc的一个奇怪问题及分析
在平时的工作中，desc这个命令可谓短小精悍，可以很方便的查看表结构和not null的情况。今天在生产环境中碰到一个有些奇怪的desc问题。首先是数据迁移组说有一个表的constraint丢了。但是在master中有。这种问题有两种可能，一种就是constraint确实丢了。另一种可能性就是创建的constraint的问题，可以参见： no...
-
编辑 删除
生产环境sqlldr加载性能问题及分析之二
上一节讨论了在数据迁移中发现数据加载的速度一下子慢了很多，和之前在测试环境相比有很大的差距。一个原因就是由于在数据加载的过程中有一些额外的session也在操作访问数据库，造成了undo的使用率急剧上升，数据库负载从某种程度上也加剧了。通过查看awr,ash报告可以发现更多的内容。测试环境的数据库负载情况Load P...
-
编辑 删除
巧用parallel极速提升数据加载速度
并行在平时工作中可能不是很注意，因为有时候即使设定了parallel 相关的hint，感觉性能也好不到哪去。今天通过一个案例来分享一下通过parallel来使数据加载的速度达到极速提升。现有一个很让人头疼的表，里面还有clob字段，通过exp/imp来导出导入数据，导出慢还可以接受，导入的速度大概在一秒钟1000条的速度，对于千万，...
