多套Oracle 10g整合迁移到11g的方案
在数据迁移中,除了跨平台,全量,增量数据迁移之外,还有一类会把已有的难度升级,那就是整合式迁移,比如原来有两个数据,迁移后是一个,类似这样的需求,如果再加上平滑升级数据库版本,那就值得我们好好想想方案了。 如果两个源库不大,其实直接使用Datapump不失为一种方法,最大的优点就是操...
一种Oracle快速的整合迁移方案(r12笔记第98天)
最近在分析一个迁移案例的时候,突然多了一些额外的想法,也算是对原有方案的一个补充。 比如存在两个数据库 peak和esales,彼此是独立的业务,所幸两者也没有用户的冲突等,都在10g版本,如果需要把他们整合到11g的环境中,迁移的方案就是一个重中之重。 因为这两个库的数据量不大,都...
海量数据切分抽取的实践场景(r11笔记第43天)
如果一个大表要抽取数据导出成csv文件,我们有什么策略,如何改进。一、问题背景 今天开发的同学找到我,他们需要做一个数据统计分析,需要我提供一些支持,把一个统计库中的大表数据导出成文本提供给他们。 这个表有多大呢,数据量有4亿+,而且使用了分库分表的策略...
Oracle 12c数据库升级实战
昨天晚上睡觉前升级了一套备库环境,比我想象的时间要长一些,下午就要升级测试环境,早上还在做最后的方案,感觉真是惊心动魄。升级的过程让我有了两种感触,刚开始的做升级准备和正式升级的步骤时候,感觉升级12c真是一把利器,升级脚本有了不小的改变,都是使用perl调用来完成,比如这样的形式:$ORACLE_HOME/...
12C打补丁的简单尝试
最近在服务器盘点的时候,发现测试环境还是值得整合一下,因为服务器资源老旧,整体配置不高,服务器资源使用率不高,业务要求不高,多个实例分散在多台服务器上,要考虑灾备,要么是每天全库导出异地备份要么是Data Guard,其实还是蛮适合使用容器的方式来管理的。 之前整合过...
迁移式升级的测试(三)
还是继续昨天的任务,今天会把剩下的工作都做完,给个交代。昨天完成了Data Guard切换,然后Failover备库,导出了元数据信息作为TTS的准备,亮点就在于导入的部分。无需挪动数据文件,这是补充数据字典信息即可。这个工作的一个重点内容就是如何保证数据字典信息的完整性。在目标环境11g中需要创建相应的用户,这一点还...
迁移式升级的测试(二)
在之前写的一篇博文中,自己是打算对一台数据库使用Data Guard+TTS的方式来完成数据迁移和升级的工作,整体的思路如下。备库Failover之后,导出元数据,然后同一台服务器上的11g的数据库中导入元数据,这样就避免了传输文件的时间消耗。从而达到快速迁移升级的目的。具体的操作步骤如下所示:1.在备库端需要开启闪回...
使用在线重定义重构亿级分区表
在我的印象中,一直以来都会收到一封报警邮件,之前分析过,排查过,最后发现是一个遗留问题,协调开发同学,停业务维护还是有一些难度,最后不了了之了,在今天,又突然想起了这件事情,觉得还是需要做点什么。报警邮件类似下面的形式:ZABBIX-监控系统: ------------------------------------报警内容: Disk I/O is...
迁移式升级的测试
之前写了一篇文章分析了目前存在的一个问题和改进思路。当前的硬件环境是Solaris,Oracle 10gR2 单实例,数据量在800G左右。想迁移到另外一台服务器上。大体的需求如下: 1.借助这次维护的时机,能够把数据库升级至11g 2.升级的过程需要尽可能保留一个较短的时间窗口,计划在2个小时...
迁移式升级的一点思考
目前有一个很实际的需求,因为硬件老化严重,需要能够借助一次维护时机把数据库迁移到一台较好配置的机器上,避免潜在的硬件故障导致的业务停顿,也算防患于未然吧。本来这个事情不是很紧急,但是因为硬件故障导致的问题防不胜防,踩过几次坑,就会有些经验教训,在这种情况下维持现状就是一个潜在的炸弹。当前的硬件环境...
Datapump数据迁移的实践总结
虽说实践了不少的数据迁移项目,但是从我的感触来说,一些很细小的差别就会造成整个数据迁移方案的大不同。数据是系统的核心命脉,所以对于DBA来说,保证数据的一致性和准确性是一个最基本的要求。对此我的一个基本观点就是高可用的需求除非特殊需要,一般都还是需要一个维护窗口的,这种方式更为保守,...
Datapump数据迁移前的准备工作(二)
之前写了一篇文章分析了Datapump迁移数据的一些准备总结,反响还不错。最近碰到一个场景,根据评估还是使用Datapump比较好。主要的原因如下:1.原来的环境在Solaris下,硬件资源老旧,需要迁移到Linux下,跨平台迁移使用逻辑迁移优先2.原来的环境使用10gR2,现在需要顺带迁移到11gR2,充分解决备库“不中用”的情况3.迁移...
Datapump数据迁移前的准备工作
其实对于Datapump迁移而言,如果参与过XTTS,OGG,Veritas SF,外部表增量等迁移方式的话,会发现Datapump还是很简单清晰的,一个优点就是操作简单清晰,想必于imp而言性能要好。所以不要小看这种迁移方式,不是说哪些迁移方式就是最好的,数据迁移中也没有银弹,最合适的就是最好的。 &...
datapump跨平台升级迁移的对比测试和优化
目前计划对跨平台的数据库环境进行迁移,一来降低运维成本,二来更加可控。其实对于很多机器来说,如果机器跑了很多年,一直没有重启过,那么时间长了,一个直观的感受就是稳定,这也是小机口碑远远好于PC的一个重要原因吧,但是如果机器有一天出了问题,那么可能就会让大家坐立不安。其实这也能够折射...
datapump跨平台升级迁移的总结
最近测试了使用datapump来迁移百G数据的场景,因为实际需要,需要把Unix下10gR2的库迁移到Linux下11gR2,所以这个过程相对来说牵制也较多。考虑了多种方案,最后权衡后决定使用datapump来迁移。其实整个迁移的过程还算顺利,完整模拟了整个生产环境的迁移情况,datapump的全库导入还是比较方便省心,只要导出得当,导入基...
物化视图刷新结合ADG的尝试
之前写过一篇 物化视图刷新结合ADG的尝试,想必绝大多数的朋友看完再没有深究,其实也有些朋友做了建议,让我尝试prebuilt来做。这种数据迁移方式用的比较少,但是个人感觉还是很不错的。如果迁移的表不是很多,这种迁移方式还是非常强大的。如果一个表非常大,我目前的设想就是通过ADG备库来把数据首先同步到统计库中,然...
数据整合式迁移的一些总结
说起数据迁移,感觉也算是有些感受了,但是最近参与的几个迁移案例还是和以前大大不同,以前的迁移项目是比拼停机维护时间,尽可能在短时间诶导入大批量的数据,有参与表空间传输的场景,还有跨平台的数据迁移,数据库迁移式升级等等,相对难度大一些的算是增量数据的迁移场景。为此也算把sqlldr,datapump和ex...
测试环境的迁移式升级和数据整合
很多时候,大家工作中都会有一种被动的思维,那就是能不动就不动,从求稳的角度来看无可厚非,但是从风险的角度来说,还是有待商榷的。如果存在风险,还保持原样很可能就是一个不定时炸弹。这不手头有一套环境,按照以前的标准是根本入不了我的法眼的,但是因为是测试环境,小问题比较多,存在容灾风险,但是这么多年一直...
海量数据迁移之传输表空间(一)
在自己接触的很多的数据迁移工作中,使用外部表在一定程度上达到了系统的预期,对于增量,批量的数据迁移效果还是不错的,但是也不能停步不前,在很多限定的场景中,有很多物理迁移中使用传统方法还是相当不错的,传输表空间就是一个样例。最近的有一个数据迁移任务是需要把一些全新的数据表迁移到另外一个库中,因为这些...
海量数据迁移之数据加载流程
在之前的博文中分享了关于数据抽取流程的一些思路,整体来说,数据的抽取是辅助,数据的加载是关键。加载的过程中每一步需要格外关注,稍有偏差就可能造成数据的损坏或者丢失。为了更加清晰的说明通过外部表来实现数据加载的流程,特意画了如下的流程图。在这个图中,数据的抽取是左边的部分,可以根据需要生成对应的外...