ITPub博客

数据仓库ODS、DW和DM概念 - 1

原创 数据分析 作者:tolywang 时间:2018-06-03 12:03:25 2 删除 编辑
1. 数据仓库分层 
ODS——操作性数据
DW——数据仓库
DM——数据集市

ods接口层采集数据的
dw 数据仓库将接口采集的数据沉淀下来的
dm 数据集市将数据仓库中的数据经过加工而来

2. 整体架构 
各交易数据库 -> ETL -> ODS -> DW -> 多个DM 

各个系统通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主体域建模形成DW, DM是针对
某一个业务领域建立模型,具体用户(一般为决策层)查看DM生成的报表。 

3. ODS,DW,DM概念 

3.1  ODS 

ODS - Operational Data Store,是数据仓库体系结构中的一个可选部分。也叫做临时存储层。 
它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

时效:实时或准实时 

ODS应用场景 

A. 在业务系统和数据仓库之间形成一个隔离层,ODS直接存放从各个业务系统抽取过来的数据,
这些数据从结构和数据逻辑关系上和业务系统保持一致,降低了数据抽取的复杂性。它的存在
可以避免数据仓库直接调用业务系统的数据。 
B. 转移一部分业务系统细节查询的功能。因ODS存放的数据与业务系统相同,原来由业务系统
产生的报表,现在可以从ODS中产生了。 
C. 完成数据仓库中不能完成的一些功能。ODS存放的是明细数据,数据仓库或DM存放的是汇聚
数据,ODS可提供查询明细的功能。 

数据源源不断写入到ODS, 一经写入的数据就不能被更改,鉴于这些特性,ODS一般会考虑使用
分布式文件存储系统。 ODS数据只能增加不能修改,数据是业务系统的原样拷贝,可能存在数据
冲突的可能,解决方式是为每一条数据增加一个时间版本来区分相同的数据。 

OLTP DB保留的是数据信息的最新状态,只有一个状态。ODS支持OLTP类型的数据更新,数据更
新时间短,数据可实现准实时更新,性能与及时性都高于EDW 。ODS层的数据粒度是最细的,它
的历史数据一般保存3-6个月,以节省空间。如果量不大,有些可以保存更长时间。

客户等关键实体数据。ODS长久保存当前数据,EDW长久保存当前与历史数据。
详单数据。ODS保存1个月到3个月;EDW保存2年。
汇总数据。ODS保存3年;EDW保存5年。
其他数据。ODS保存13个月;EDW保存3年。

ODS主要面向营业、渠道等一线生产人员和一线管理人员,为了实现准实时、跨系统的运营细节
数据的查询,以获得细粒度的运营数据展现,例如渠道人员查询客户的全视图信息由ODS提供数
据支撑。ODS中也存在部分粗粒度汇总数据,但汇总的维度少且简单。
上一篇: a'd'fa'f'da'd
请登录后发表评论 登录
全部评论
Oracle , MySQL, SAP IQ, SAP HANA, PostgreSQL, Tableau 技术讨论,希望在这里一起分享知识,讨论技术,畅谈人生 。

注册时间:2007-12-10

  • 博文量
    5604
  • 访问量
    12989705