ITPub博客

首页 > 大数据 > 数据挖掘 > datastage 配置 增量抽取

datastage 配置 增量抽取

原创 数据挖掘 作者:gh_95533 时间:2015-05-07 15:42:02 0 删除 编辑

1

三个控件:

 

TRANSFORMER:对于任何需要转换的数据集合进行转化并负责传入到其他活动的STAGE

SELECT XM XM_BM,XB XB_BM, F_15TO18(SFZH) SFZH,AGE AGE_BM

FROM XXX

 

ORACLE CONNECTOR:连接Oracle数据,传送或者被写入数据。

INSERT 

UPDATE

SELECT 

DELETE

 

 

AGGREGATOR:对于单一的输入数据进行分组并且计算每一组的合计和总计

ASH:最好自定义,这样子数据就比较全面

SELECT MAX(AGE_BM) ,ASH FROM XXX GROUP BY ASH;

 

A经过转换出来 将符合的字段传入B中,其中在转换过程中,取出A的最大时间戳并将其传入到时间戳表中。

 

A下次活动时取出时间戳之后的值将其存入到B中

 

这样的话就需给A赋值

 

右击方案的PROPERTIES

添加时间戳类型一般默认为STRING


 

 

上面的方案主要解决存入数据并将最大时间戳存入到数据库中

现在如何将变量传送进去

 

2

 

HASH FILE:可以认为是一个txt文件存储关键字和时间戳

 

A的时间戳值存入到HASH_FILE中

 

3、

 

JOB ACTIVITY:类似Oraclejob

 

从HASH_FILE读取数据并传入1中

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/29162273/viewspace-1627742/ ,如需转载,请注明出处,否则将追究法律责任。

下一篇: oracle 电话号码
请登录后发表评论 登录
全部评论

注册时间:2014-10-24

  • 博文量
    44
  • 访问量
    105363