ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 关于数据事实表汇总的模拟实现——原理

关于数据事实表汇总的模拟实现——原理

原创 Linux操作系统 作者:bq_wang 时间:2008-02-14 22:07:11 0 删除 编辑
在数据仓库中通常会存储双重粒度级别的数据来满足不同的需要,轻度综合数据和原始数据,在原始数据层面上可以访问细节数据,而在分析层面则访问轻度综合数据。

原始数据因为存储了基本上原封不动的数据,导致系统存储压力增大,同时也造成查询使系统性能的下降;而轻度综合数据由于数据进行压缩更为简洁,通常情况下对数据仓库的访问95%以上都是通过轻度综合数据访问来进行的。

数据增量聚合的实现和增量抽取类似,都是尽量以时间戳的方式,尽量减少每次事务的开销。

增量聚合

下面开始对基于时间戳的数据增量聚合进行系统设计:

1、首先需要定义一张数据字典表,定义需要进行处理的任务,其中主要包括任务名称,任务描述,本次聚合开始时间、结束时间、当前时间、执行的系统时间,状态,最大时限等等。

序号

字段名称

字段描述

字段类型

备注

1

factProcName

任务名称

Varchar(40)

2

factDesc

任务描述

Varchar(100)

3

factType

任务类型

INT

4

LastLogTime

当前处理时间

Datetime

5

BeginTime

本次任务开始时间

Datetime

6

EndTime

本次任务结束时间

Datetime

7

Status

本次任务执行情况

Varchar(20)

FINSHED

RUNNING

EXCEPTION

8

LogLimit

本次任务处理最大时限

Int

9

Step

本次任务处理距离当前时间最大间隔

Int

10

CancelFlag

取消标志

Int

1,取消

0,正常

11

CurTime

本次任务执行的系统时间

Datetime

2、有了这张字典表就可以开始进行工作了,为了方便表达,暂时处理成伪代码形式,同时只以一个表的处理为例。

1、获取上次处理的恶最后时间,状态和取消情况

2、如果取消状态,则直接退出

3、判断是否存在该任务

4、如果没有,则新增,如果存在更新当前状态为运行

5、获取本次任务开始时间和结束时间

6、并根据系统表中的最大处理时限和时间间隔进行截取时间

7、根据控制事务处理大小的粒度,进行循环抽取

8 INSERT INTO t_fact_table(TargetFieldList)

SELECT SourceFieldList FROM t_org_table

WHERE logdate> BeginDate

AND logdate< BeginDate+粒度

9、并同步进行时间和状态的更新

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/6517/viewspace-145461/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2007-12-07

  • 博文量
    412
  • 访问量
    1102748