ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 增量数据加载

增量数据加载

原创 Linux操作系统 作者:zj2009072204 时间:2013-09-10 16:22:08 0 删除 编辑
所讲增量数据加载,举例说A表为OLTP表,B表为OLAP表
ETL进行增量数据加载,抽取A表数据,并进行清洗、转换、最后进行加载,运行过一次后,B表中就有了按规则抽取的数据,此后,当发生业务操作后,A表数据发生改变,即
1、增加
当A表增加数据后,经过ETL,仅抽取增加的数据,并进行相应转换,B表中插入新增的数据
2、修改
当A表数据发生修改后,经过ETL,仅抽取修改过的数据,需要在B表中找到发生变化的数据,并进行相应的修改(不记录修改历史);或者在B表中找到发生变化的数据,并给这些数据置上历史数据标识,并插入修改过的数据
3、删除
当A表发生删除时,经过ETL,B表应不发生任何变化,A表所删除数据应仍然保持原有数据
这样便实现了数据的增量抽取,递增加载
 
在全表比对的方式下可以采用的渐变维的方式一般有两种
1、不记录历史更改,即OLTP发生数据变化时,通过ETL同样对
   OLAP中数据进行修改
2、记录历史信息,即OLTP发生数据变化时,通过ETL后,OLAP   中将保留原来数据,并不修改数据值,仅把该数据标识为     历史数据,并把修改过的数据作为新数据插入OLAP表。这   种模式有三种方式进行历史纪录的记载
   (1)版本号
    即在OLAP表中增加字段,记录版本号,每次更新数据时,    记录下当前版本号,以版本号最新表示记录最新
   (2)标志字段
    即在OLAP表中增加字段,记录最新标识,例如1、0,把历    史数据均置为1,当前最新数据为0
   (3)时戳
    即在OLAP表中增加时戳字段,记录数据的插入时间及更改    时间,以时间最后为最新纪录

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/28573466/viewspace-772496/,如需转载,请注明出处,否则将追究法律责任。

上一篇: ETL数据加载策略
下一篇: ETL的本质
请登录后发表评论 登录
全部评论

注册时间:2013-09-09

  • 博文量
    11
  • 访问量
    17511