ITPub博客

首页 > Linux操作系统 > Linux操作系统 > [转载]Goldengate数据集成探秘

[转载]Goldengate数据集成探秘

原创 Linux操作系统 作者:279531451 时间:2009-09-16 21:53:03 0 删除 编辑
转载自IT爱好者博客:
http://blog.ccidnet.com/blog.php ... &itemid=3119989


真是好消息啊!Oracle最近又宣布收购goldengate了,这样一来Oracle得数据集成功能就更强大了。这对于众多DBA来说,真是值得庆幸的事情。


不过,goldengate到底如何实现数据集成呢?嘿嘿,恰恰我之前研究过goldengate的技术,今儿就和大家来分享一下,从技术上对goldengate的具体实现机制来做一个简单的分析。欢迎大家拍砖啊!


首先我们看下面这张图:





GoldenGate的数据集成技术实施主要含三个主要进程:


1.数据抽取进程:该进程一般部署在源系统数据库所在的服务器上,如果源系统有standby系统,有时也可以部署在standby系统上(当源系统不允许部署时),goldengate可以通过读取分析数据库的在线日志或者归档日志将变化数据取出,存储到一个队列文件中,该文件根据系统配置的不同,可以在源,也可以在目标,或者两边都有,一般建议在源上一个,目标上一个,具体原因以后我们再分析。goldengate当然也可以通过trigger的方式获得变化数据,但如果通过trigger,就和其它工具没啥分别了,我自己也可以通过trigger写个程序抓变化数据,目前Goldengate支持通过日志抓取变化数据的数据库包括:
Oracle,DB2(包括开放系统和大机),sqlserver,Sybase,Ingres,当然Goldengate也提供了一套API对用户开放,用户可以自己负责抓取,然后通过Goldengate进行数据同步。


2.传输进程,该进程一般在源数据库所在的服务器上,负责将源数据库数据抽取进程分析出的变化数据从队列文件中取出,复制到远程目标数据库的队列文件,在传输的过程中,该进程可以对数据进行压缩,加密(视客户的要求而定,毕竟压缩,加密,再解开很浪费时间)。如果进行一对多的数据分发,传输进程可以配置多个,如下图:





3.应用进程,也叫replicate进程,它部署在目标服务器上,从目标服务器的队列文件中读取变化数据,然后写入目标数据库。
在goldengate中,数据抽取进程、传输进程和replicate进程通过队列文件实现了松耦合,


这样可以通过不同的排列组合,实现各种各样的用户场景,如多级分发、多级上传等等。具体的配置以后再聊。


Goldengate数据集成的流程就是这个样子,个人感觉还是比较方便,大家有什么问题,可以在这里讨论一下。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7551038/viewspace-614836/,如需转载,请注明出处,否则将追究法律责任。

上一篇: ocm大纲
请登录后发表评论 登录
全部评论

注册时间:2009-09-01

  • 博文量
    100
  • 访问量
    153912