ITPub博客

首页 > 大数据 > 数据挖掘 > 漫谈 ODS

漫谈 ODS

数据挖掘 作者:y919945014 时间:2010-10-20 20:49:15 0 删除 编辑
ODS全称为Operational Data Store,通常国内同行翻做操作型数据存储。目前关于ODS的资料比较少,翻译过来的就更少了。我印象中关于ODS的详细描述基本上都来自于Inmon的著作,其中《Building the Operational Data Store》全面、系统的阐述了ODS,可惜这本书目前国内尚未引进。国内翻译过来的数据仓库方面的书中,据我所知在《企业信息工厂》(第六章)以及《数据仓库》(章节3.20)中有专门的章节描述ODS。
    ODS有以下特点:
  • 面向主题的
  • 集成的
  • 易变的
  • 明细的
  • 反映当前数据值的

    ODS是企业数据架构中最为复杂的一种形态,既要满足数据事务操作要求,又要满足数据分析要求,从技术构建角度考察,难度相当之大。目前国内相关案例很少,在我印象当中,中国电信的CTG-MBOSS规划中对ODS有比较明确的要求,但在CTG-MBOSS规范中,ODS也做了一定的变更处理。在实际的省公司EDA(企业数据架构)建设中,并没有形成一个统一的建设模式,比如在云南电信以及上海电信的ODS系统建设中(云南电信ODS已经初验,上海电信的ODS算是上线了),ODS的定位就比较模糊,其主要功能是给数据仓库提供数据(作为EDW的数据源)。

    大致来讲,ODS有以下四种类型:

  • I 类ODS,与应用系统的数据延迟为1~2秒,实时或近似实时
  • II 类ODS,与应用系统的数据延迟为2~4小时
  • III 类ODS,与应用系统的数据延迟为12~24小时
  • IV 类ODS,数据仓库中部分决策分析数据回流至ODS中

    数据延迟时间越短,ODS建设难度越高,其中I 类ODS的建设难度最高,建设成本也是最高的。而且由于I 类ODS的实时性,对于技术的要求与其它类型ODS也有所不同,一般来讲需要用到EAI技术(如果同步的数据量比较小的话也可以考虑触发器来实现,但从维护、企业长远规划的角度来考虑,使用触发器只是权宜之计),但随着当前企业对数据仓库的实时性要求越来越高,以及企业对战术性决策支持的需求越来越大,相信I 类ODS会变得越来越重要。通常在企业的EDA中,ODS是一个可选件,但一旦需要用到ODS的功能,那么ODS本身就将变得极为重要。

    目前应用的比较多的是IV 类ODS,因为一旦将决策分析结果加载到ODS中,重要决策信息的高性能联机支持将成为可能,举例如下:

  • 客户细分与评价
  • 银行客户贷款

    ODS与数据仓库的重要区别如下:

  • ODS只存储明细数据
  • ODS中存储的数据一般不超过一个月
  • ODS支持事务更新操作

    在ODS中存在3种不同的时间窗处理:

  • OLTP时间段,与应用系统保持同步更新(通常采用消息机制)
  • 批处理时间段,从应用系统中接收批量数据(通常采用ETL的方式)
  • DSS时间段,从数据仓库中接收决策支持数据

    由于ODS需要满足上述不同处理类型的性能要求,导致ODS无法对任何一种类型进行优化,只能进行折衷考虑,这也正是ODS的技术复杂原因所在。

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/22549405/viewspace-1114702/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2009-09-17