ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 设计一套分布式数据库冗余方案之阿烂大学 走向全球篇-3部曲

设计一套分布式数据库冗余方案之阿烂大学 走向全球篇-3部曲

原创 Linux操作系统 作者:leonarding 时间:2012-10-19 07:52:27 0 删除 编辑
引言:时光飞逝一眨眼“阿烂大学”已经一周岁了,在这一年中阿烂大学进步的很快,从只招收本地学员到走向全球才仅仅一年时间,现在校园中可以看到来自五湖四海的同学,有利比亚的部族首领、有阿拉伯的酋长、英国的贵族、索马里的海盗、阿富汗的基地成员、中国政府的某高层领导。都不约而同的来到阿烂大学进修,他们在这里深深的感觉到“知识改变命运”的真理。在听了阿烂校长鼓舞人心的演讲后都对自己的生活、命运重新拾起了希望,重新看到了未来;决定不学业有成绝不回家,还纷纷真诚肺腑邀请阿烂校长加入他们的组织作精神导师并给予极高的待遇与荣誉,据说只要阿烂加入他们可以称霸全球,进入500强。看着阿烂大学欣欣向荣的发展笔者很欣慰,同时又对我们提出了新的挑战,在大学进入高速成长的阶段,我们的学生越来越多,所开设的课程越来越全面,数据量总额达到了一年500T。在这种大数据环境下我们不得不考虑数据的HA方案,现在的数据量已经对我们提出了严峻的考验,如果发生数据损坏或丢失对我们的影响是不可估量的,因此我们要尽快的设计出一套行之有效的冗余方案,请见下图!
(这个图需要联合《阿烂大学之扬我国威篇-1部曲 http://space.itpub.net/26686207/viewspace-746692
《阿烂大学之普天同庆篇-2部曲 http://space.itpub.net/26686207/viewspace-746694》一起来看,此图只是整个框架的局部放大)
 
 
 
 
方案集
方案1:采用Data Guard模式,但由于我们的数据量很大不建议开启归档,如果开启归档会占用很大的系统资源,放弃。
方案2:可以使用迁移表空间方案,此方案虽可行,但还没有做到对业务影响最小,会产生迁移时间或迁移异常,不适合用在对时间要求很高的系统,放弃。
方案3:可以使用EXPDP/IMPDP逻辑备份方案,可以利用管道符“|”直接把导出的dump文件导入备库,这种方案看起来很不错,但开销较大、时间长、导出导入有风险、高质量网络环境,而且二进制dump文件一旦有缺陷,是无法手工修改的,放弃。
方案4:采用备份加载文件的方式冗余数据,这只能实现在操作系统级别上的冗余,对业务的影响非常大,一旦数据库crash,整个系统就完蛋啦:(   放弃。
方案5:采用sql*loader双向加载技术完成数据库级别的冗余,我们使用sql*loader技术在中间件层面同时对2台数据库一起加载,这种方式对业务的影响最小,一旦其中一台数据库crash,中间件可以透明化连接另一台备库直接对外提供服务,让我们的系统一直处于高可用状态,保证业务的持续性和完整性! 采用

CAP理论讨论:如果采用方案5,可用性(Availability)成立当然是毋庸置疑的,我们目标就是数据的高可用。
                       如果采用方案5,分区容错(partition-tolerance)也是可以的,当我们的主库网络出现问题时,可以透明连接备库直接对外提供服务
                       如果采用方案5,一致性(consistency)是不能成立的,因为2边的加载在事务级上不可能完全一致,原因有机器性能问题,网络问题,数据库问题so on
 
Leonarding
2012.10.18
天津&autumn
分享技术~成就梦想
Blog:http://space.itpub.net/26686207

阿烂大学三部曲

设计一套分布式数据库系统+加载中间件服务方案之阿烂大学 扬我国威篇-1部曲
 
设计一套查询中间件服务方案之阿烂大学 普天同庆篇-2部曲
 
设计一套分布式数据库冗余方案之阿烂大学 走向全球篇-3部曲
http://space.itpub.net/26686207/viewspace-746742

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26686207/viewspace-746742/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
刘盛,网名leonarding,the first ACEA in china, Oracle OCM10g&11g RHCE, ACOUG Core Member Blogger, DATAGURU Oracle数据库版主, ITPUB HADOOP版版主, DB2中国专家组成员, 专注于&Oracle&Hadoop&Nosql&SAS, 提倡“分享技术~成就梦想”, 新浪微博:@itpub_leonarding QQ:40354446

注册时间:2012-02-10

  • 博文量
    246
  • 访问量
    3229108