ITPub博客

首页 > 数据库 > Oracle > OGG工作原理及一些配置说明

OGG工作原理及一些配置说明

原创 Oracle 作者:lusklusklusk 时间:2016-08-29 16:54:49 0 删除 编辑






GoldenGate
的数据集成技术实施主要含三个主要进程:

1.  数据抽取进程

该进程一般部署在源系统数据库所在的服务器上,如果源系统有standby系统,有时也可以部署在standby系统上(当源系统不允许部署时),goldengate可以通过读取分析数据库的在线日志或者归档日志将变化数据取出,存储到一个队列文件中,该文件根据系统配置的不同,可以在源,也可以在目标,或者两边都有,一般建议在源上一个,目标上一个,具体原因以后我们再分析。goldengate当然也可以通过trigger的方式获得变化数据,但如果通过trigger,就和其它工具没啥分别了,我自己也可以通过trigger写个程序抓变化数据,目前Goldengate支持通过日志抓取变化数据的数据库包括:

Oracle,DB2(包括开放系统和大机),sqlserver,Sybase,Ingres,当然Goldengate也提供了一套API对用户开放,用户可以自己负责抓取,然后通过Goldengate进行数据同步。

2.  传输进程

该进程一般在源数据库所在的服务器上,负责将源数据库数据抽取进程分析出的变化数据从队列文件中取出,复制到远程目标数据库的队列文件,在传输的 过程中,该进程可以对数据进行压缩,加密(视客户的要求而定,毕竟压缩,加密,再解开很浪费时间)。如果进行一对多的数据分发,传输进程可以配置多个,如下图:

3.  应用进程

也叫replicate进程,它部署在目标服务器上,从目标服务器的队列文件中读取变化数据,然后写入目标数据库。

 

 

 

 

 

 

一般常用的进程组:

在源端:mgr进程,extract抽取进程,extract传输进程

在目标端:mgr进程,replicat进程

 

ggsci查看各进程是否正常的命令

ggsci>status mgr

ggsci>status *

ggsci>info mgr

ggsci>info all

 

 

 

edit params 配置文件中的各项说明为:

 

Extract :指定extract的名字

SETENV():指定该extract启动时oracle相关的环境变量.

Userid , password :连接到源数据库的用户

Report:指定每天在日志中产生报告的时间

Reportrollover:指定每天汇报队列文件切换报告的时间

Gettruncates:告诉extract对truncate操作也要捕获

Warnlongtrans:超过个小时的交易为长交易,要在goldengate日志中进行记录,检查时间为指定的checkinterval。

Tranlogoptions:针对源数据库的一些配置选项,如数据库归档的位置等等,例如一些例子中的值是指当源和目标数据库字符集不一致,而且传输包含clob字段时,需要对clob中的字符集进行转换。

Fetchoptions:指定当从源数据库抓取数据时的一些选项,例如一些例子指不从undo tablespace取数据,而是从表里直接抽取。

Exttrail:本地队列文件,extract将数据从数据库日志抓取后存放在该队列文件。(抽取进程写这些文件,传输进程读取这些文件)

Discardfile:指定丢弃数据的存放位置。

Dynamicresolution:指定当extract从日志抓取变化数据时,根据当前的需要,动态解析表名,从而加快抓取进程的启动速度。

Table  .:指定要从源系统抓取那些表的数据,这里schema不能用通配符,table_name可以用通配符。

 

Passthru:表示传输进程在传输的过程中只负责文件传输,不进行任何转化。

Rmthost: 目标端的机器IP地址或者主机名称。

Mgrport:目标端goldengate 管理进程manager运行的端口号。

Rmttrail:当传输进程将队列文件传输的目标端后放置的目录和队列文件。

 

 

已经实验过EXTRACT抽取进程配置EXTTRAIL ./dirdat/tt,EXTRACT传输进程配置RMTTRAIL ./dirdat/cs,replicat进程没有配置文件信息,实验中发现会在源生成./dirdat/tt,目标生成./dirdat/cs,为什么目标的replicat进程会默认去读Opening ./dirdat/cs000000 (byte -1, current EOF 0).原因是不管配置文件里面怎么写的,还有一段

add exttrail ./dirdat/tt,extract chouqu, megabytes 5

add extract chuanshu,exttrailsource ./dirdat/tt

add rmttrail ./dirdat/cs,extract chuanshu,megabytes 5

add replicat fuzhi,exttrail ./dirdat/cs,checkpointtable ggs. ggschkpt

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/30126024/viewspace-2124157/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: OGG_linux搭建实验
请登录后发表评论 登录
全部评论
Welcome to Lukes DB HOME。 Oracle OCM、Mysql OCP, 10年DBA工作经验,博客仅记录自己的一个学习过程,不代表完全准确,如有需要,欢迎转载。

注册时间:2015-02-02

  • 博文量
    348
  • 访问量
    1174936