所讲增量数据加载，举例说A表为OLTP表，B表为OLAP表
ETL进行增量数据加载，抽取A表数据，并进行清洗、转换、最后进行加载，运行过一次后，B表中就有了按规则抽取的数据，此后，当发生业务操作后，A表数据发生改变，即
1、增加
当A表增加数据后，经过ETL，仅抽取增加的数据，并进行相应转换，B表中插入新增的数据
2、修改
当A表数据发生修改后，经过ETL，仅抽取修改过的数据，需要在B表中找到发生变化的数据，并进行相应的修改（不记录修改历史）；或者在B表中找到发生变化的数据，并给这些数据置上历史数据标识，并插入修改过的数据
3、删除
当A表发生删除时，经过ETL，B表应不发生任何变化，A表所删除数据应仍然保持原有数据
这样便实现了数据的增量抽取，递增加载

在全表比对的方式下可以采用的渐变维的方式一般有两种
1、不记录历史更改，即OLTP发生数据变化时，通过ETL同样对
OLAP中数据进行修改
2、记录历史信息，即OLTP发生数据变化时，通过ETL后，OLAP 中将保留原来数据，并不修改数据值，仅把该数据标识为历史数据，并把修改过的数据作为新数据插入OLAP表。这种模式有三种方式进行历史纪录的记载
（1）版本号
即在OLAP表中增加字段，记录版本号，每次更新数据时，记录下当前版本号，以版本号最新表示记录最新
（2）标志字段
即在OLAP表中增加字段，记录最新标识，例如1、0，把历史数据均置为1，当前最新数据为0
（3）时戳
即在OLAP表中增加时戳字段，记录数据的插入时间及更改时间，以时间最后为最新纪录

ITPub博客

增量数据加载

最新文章