ITPub博客

首页 > Linux操作系统 > Linux操作系统 > ODI利用goldengate实现增量数据捕获

ODI利用goldengate实现增量数据捕获

原创 Linux操作系统 作者:chengcongchao 时间:2010-04-02 11:35:22 0 删除 编辑

上个月,Oracle发布了ODI的最新版本10.1.3.6_02,其中增加了针对采用goldengate获取源数据库增量变化的知识模块,这样当系统需要实时数据仓库时,我们从源数据库抽取增量数据,就完全可以利用goldengate从数据库的日志中抽取,避免了对源数据库系统的影响,以前采用streams或者logminer抽取增量时,需要在源数据库部署stream,需要DBA权限,很多管理员都有抵触情绪,怕影响生产系统,goldengate在源数据库中抽取增量时,在源数据库系统上不需要部署任何东西,它只需要一个普通用户从数据库获取元数据,该用户至少有connectresourceselect  any tableselect any dictionary权限。具体的配置请参见下图:

 

1.      我们在源系统上安装好goldengate,具体安装步骤请参考以前的blog

2.      ODI所在的机器上导入相应的知识模块,请到oracle support网站下载相关软件和文档。

3.      象操作其它ODI中的CDC一样,添加日志表,配置知识模块的相关参数,ODI会自动生成相关goldengate的配置文件。

4.      Goldengate在源端抽取时,在ODI的临时存储区(staging area)会存有两份数据,一份是和源一模一样的一份数据,另一份是原来在源数据库上部署的临时表和视图),goldenate会将增量数据从源端日志抽取出来,同时更新临时区的两套表,至此,增量数据的抽取完成。

5.      ODI利用和其它抽取方式一致的机制对增量数据进行转化,加载。

 

1.JPG

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16312004/viewspace-631064/,如需转载,请注明出处,否则将追究法律责任。

上一篇: goldengate的初始化
请登录后发表评论 登录
全部评论

注册时间:2008-10-06

  • 博文量
    18
  • 访问量
    89978