ITPub博客

首页 > Linux操作系统 > Linux操作系统 > The Data Warehouse ETL Toolkit学习笔记-架构(数据流主线―数据管理)

The Data Warehouse ETL Toolkit学习笔记-架构(数据流主线―数据管理)

原创 Linux操作系统 作者:phoenix-nirvana 时间:2013-06-25 17:42:37 0 删除 编辑

数据仓库的后台和前台从物理上、逻辑上以及管理上都是分开的。

数据管理是指获取数据并将数据转化成信息,最终将这些信息提交到前端的查询界面,后台不提供查询服务。

后台数据访问是被严格禁止的。

是否支持数据访问正是后台和前台的关键区别。

(一)集结

集结意味着临时的或永久的物理数据快照。

1、抽取步骤

源系统的原始数据在进行大的转换之前通常直接写入到磁盘(通常中写入文本文件或关系型数据库),以保证最初的抽取尽可能简单和快速。

清洗步骤完成后,通常有三种处理方式:

 = 1 \* GB2 直接丢弃;

 = 2 \* GB2 归档以长期保存;

 = 3 \* GB2 保存至少一个抽取周期,以计算连续抽取之间的不同之处。

虽然在清洗和转换步骤可以进行重要的内容转换,但是解决遗留数据格式问题的最佳时机还是在抽取阶段。抽取阶段的转换包括编码格式转换、大小写转换、重定义、重载列等。

(二)清洗步骤

源系统可接受的数据质量程序依据数据仓库要求的质量而不同。

数据质量的处理包括以下几个独立的步骤:有效值检测、一致性检测、删除重复记录、检测是否有复杂的业务规则和过程需要增强等。

数据清洗转换可能需要人为的干预和判断。

数据清洗步骤的结果往往是半永久保存的。

(三)规格化步骤

当多个数据源合并到数据仓库时就需要数据规格化。

数据规格化的过程比简单的数据清洗重要的多,数据规格化需要在顶层确定统一的标准规范,包括口径和度量。

(四)提交步骤

后台任务的终点就是准备好数据以方便查询。

提交步骤至关重要的是将数据物理地组织成简单、对称的维度模型,这种框架大大降低了查询时间、简化了开发过程。

维度模型是构建OLAP立方体的必要基础。

建议将维度模型作为每个数据仓库后台的最终目标。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16239395/viewspace-764793/,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2009-03-23

  • 博文量
    12
  • 访问量
    13157