ITPub博客

首页 > 大数据 > 数据挖掘 > 一个数据仓库数据刷新的实现机制(一)

一个数据仓库数据刷新的实现机制(一)

原创 数据挖掘 作者:zhyuh 时间:2005-04-07 15:37:03 0 删除 编辑
基本介绍 [@more@]

一个数据仓库,需要刷新的数据库对象有表(Table)和物化视图(Materialized View)。其中一部分表通过运行位于/erdb/sql/*.sql脚本文件刷新数据,一部分表通过存储过程刷新数据。物化视图(MV)没有在主表上建物化视图日志(Materiralized View Log),只能执行完全刷新,但是在刷新失败时要求能自动回滚到刷新前的状态。

需要刷新的数据库对象分别属于12schema,分别对应于6个国家。比如EDENFREWRFRMASTER对应法国,EDENUKEWRUKMASTER对应英国等。

需要纪录各表和MV刷新前后的数据量,刷新前后的时间点,刷新所用时间,刷新成功与否,如果失败纪录失败信息。刷新纪录同时保存在数据库表中和操作系统的文本文件中。

schema下需要刷新的对象有可能今后会有改变,要使客户今后能方便地增删改刷新对象和方式(用MV刷新,用procedure刷新表,用.sql文件刷新表)。

各数据库对象的刷新频率有可能是每天一次,每周一次(周六),或者从不刷新。

刷新任务要在每天当地时间早上4点整自动启动。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/207/viewspace-795289/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
  • 博文量
    233
  • 访问量
    2008657