ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 【goldengate】售前了解篇

【goldengate】售前了解篇

原创 Linux操作系统 作者:kankanhoney 时间:2011-07-06 16:04:29 0 删除 编辑

一直想写一些数据复制软件的文章来记录我从业于该行业的点点滴滴,也是一直借口没时间一篇也没写成,换了行业换了新公司了每天有大把大把的时间让我挥霍,闲的闹心,也是为了给自己找点事情做,就从入门开始重新学习代表软件goldengate

 

Goldengate 1995年成立于旧金山,2009年被oracle公司收购,之后大力在全球推广,目前国内高端行业已逐渐采用goldengate来做部分解决方案。goldengate本身是一种数据实时复制软件,可持续实时的将数据从一个数据库复制到另一个或多个数据库,供不同需求应用。

官方在这里提到两个词,real-time access,real-time informationgoldengate 在数据复制的同时可以保证源端及目标端得数据的随时访问可用,而数据复制的速度官方更是称可以达到压秒级,当然我们的环境是测不出压秒级的,oracle 宣传goldengate策略就如同当初宣传自己,先将噱头抛出,之后再完善再满足。

 

Transactional data management goledengate 提出的一个名词,交易数据管理。Goldengate用于交易数据管理的特点为:

1.           实时性:复制数据过程中速度为压秒级,低延迟。由于抓取redo或归档的信息并且在传输过程中有压缩操作,所以传输量相对是较小的。

2.           支持异构:可以跨不同数据库、不同os、不同硬件进行数据复制,异构的支持使goldengate在行业中应用的更广泛更灵活。这是goldengate重要的一个优势,同类数据复制软件可以支持异构os异构硬件,但数据库只支持oracle数据。

3.           交易完整性:goldengate有事物为单位复制数据,保证源端与目标端数据读一致。Goldengate架构在一定程度上可以抵御意外中断,如源端宕机可以启用目标端数据库,goldengate方向复制功能使灾后恢复更容易。

 

 

 

        Goldengate数据复制过程中分为5个模块,capture工作为按事物抓取redolog/归档日志的信息,之后goldengate一种模式是直接将抓取的信息通过route传输到目标端一文件形式放入目标端的trail中,然后通过delivery模块将trail 中的文件抓取出复制到目标端数据库;另一种模式也是比较常用的模式即图中,capture抓取日志以文件形式放入本地的trail中,再由pump模块将trail中文件抓取出可用信息再通过route传输到目标端得trail中,再由delivery模块将数据复制入目标端数据库。这种的好处是,如果在传输过程中网络中断,第一种模式capture抓取出的放在缓存中的信息就会丢失,而如果将抓取的信息放入本地一份再传输,这样就有效保证数据的完整性,但同时性能就会有所下降。

    在capture的过程中可以添加一些过滤信息,将自己定义想要的信息抓取出来比如某张表某个用户的信息,同时也可以开辟多个capture模块,将数据分别复制到多个目标端,以模块化的开发灵活性很强。

 

 

    图中为goldengate的常用架构,模块化得设计使得goldengate灵活搭建多种架构。

    一对一模式一般用于分担主交易负载和零宕机数据迁移,一般主交易系统同时读写的负载是很高的,goldengate通过搭建另一个数据完全一致的数据库只用于数据查询,从而缓解主交易数据压力。数据迁移是dba工作量很大的一个工作,在平台一致的并允许停机情况下可以用oracle的工具来迁移,但在异构的情况下迁移将会一件很麻烦的事。Goldengate 在迁移的过程中是不用停机的,并且支持异构,可做到无缝迁移,这种情况下用goldengate做还是很不错的,但是同步大数据量是否能保证速度与性能,有待测试。

    双向复制模式是最为普遍的模式,也是容灾行业的新宠,可用于做热备,做双活。容灾用goldengate在本地或异地做一个或多个数据库与主交易系统数据库数据完全一致的数据库,若主交易系统意外宕机,其他数据库可立即启用,很大程度上避免了单点故障,灾后重建主交易系统时,开启反向同步就恢复了主交易系统。

    广播模式用于数据分发,也可以同样用于容灾中比较常见的是证券行业来做两地三中心,即通过复制软件在本地建一个查询分析备库,在异地建一个容灾库。另一个用法是在数据同步的过程中选择性的同步,根据业务系统功能不同的功能的数据同步到不同功能的业务系统中,方便数据的拆离。

    数据集中模式也是很常见的一种架构,将多数据库的数据集中到同一个数据库中而建立一个数据仓库,如某省的警综平台系统就需要将其区县的信息集中收集处理。

     基于消息的数据分发一般与JMS这类消息服务结合起来分发到其他系统中。

 

   该图为我上述内容的总结,列出goldengate在行业中应用的几个方向,当然其他三款数据实时复制软件也是应用于这几个方向,很多终端用户考虑到性价比还是会选择其他产品的。

 

    上图为goldengate所支持的平台列表,对数据库而言goldengate支持的相当广泛的,这是其他数据同步软件所缺陷的,表中capture模块没有列出mysql,之前capture是不支持mysql的,只delivery模块支持,新版本5.1capture也可以支持。

oracle 在一些大会上以宣布goldengate是他们的战略性产品,oracle stream现已不再开发,将一些stream的技术要融于goldengate,并且oracle11GR2已出现goldengate的部分对象。

 

    以上为goldengate 产品license list price,oracle一样是按cpu或并发用户卖的,很多用户因为它不便宜望而却步选择其他产品。这里介绍一下veridata这个产品,该产品是goldengate的一个对比数据的工具,往往用goldengate同步完数据不知道源端与目标端是否数据一致,用这个工具就可以进行对比,从逻辑上说这个veridatagoldengate是密不可分的,只是一个小工具价钱却是goldengate的近两倍,oracle的定价策略还是很强悍的。Managerment pack fo goldengate goldengate的一个管理工具,可以提供web界面来管理goldengate架构中的所有节点。

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22659205/viewspace-701518/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2011-06-29

  • 博文量
    4
  • 访问量
    9947