环境：装有DB2的400服务器，informatica9 安装在linux5.5，oracle

一、spool file 数据采集。

    针对不规则文件，我们采用B2B方式加载聚合xml（可使用工具生成xml 文件） 文件后导入。informatica有一个data transform. 用来做数据聚合，使用规范格式（例如 XML）在任何格式之间进行转换。

如：企业发布的报表导成的PDF 等等

二、CDC数据采集

CDC 是Informatica Power Exchange的实时数据采集 。

1、通过log来来查看数据变更信息。变化信息会存储于PWX Condense Job。

2、PWX Condense Job 通过内置的接口来捕捉变化的数据，并基于外部配置文件产生

condense 文件。

3、PowerCenter 发布一系列标准的SQL请求给Power Exchange的监听来访问变化数据。

4、Listener从Condense 文件抽取变化数据。

5、Power Exchange发送翻译好的数据给PowerCenter。

三、更新日结标志，自动触发数据采集。

1、取到日结标志，落到参数文件中。

2、在workflow中取参数文件schedule 调度自动采集。

四、CSV/Excel/Formatted TXT定时数据采集

1、采集txt/csv文件。excel文件导入会报错。

五、各种容错处理

1、我们建议在制作workflow 时设置每次运行时全量表truncate 目标表。增量表删除当天的数据。

六、模拟同一张表中两笔完全一样的数据， 进行UPDATE/DELETE操作，ETL数据采集容错恢复。

    场景：表的唯一标识字段是时间，但是由于两次产生的交易时间过短，记录到数据库中的时间是一样的。所以产生两条完全一样的记录。

    这个问题由于表中，没有唯一字段。所以不能去能对两条数据进行区别。

七、调优

    数量级：100万

    batch 模式：

1、将commit interval从10000改到100000

2、设置partition，类型为key range

调优前：27秒

调优后：17秒

    CDC 模式：

1、调整参数uow count 调整为1000

调优前：404条/秒

调优后：10364条/秒