ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 关于OLTP和OLAP的学习(转)

关于OLTP和OLAP的学习(转)

原创 Linux操作系统 作者:moran0922 时间:2011-05-15 23:51:59 0 删除 编辑

联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd1993年提出的,他同时提出了关于OLAP12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。

当 今的数据处理大致可以分成两大类:联机事务处理OLTPon-line transaction processing)、联机分析处理OLAPOn-Line Analytical Processing)。

OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支 持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

OLTP 系统强调数据库的内存效率,强调内存各种指标的命中率,强调绑定变量,强调并发操作;

OLAP 系统则强调数据分析,强调 SQL 执行时长,强调磁盘 I/O,强调分区等

下表列出了OLTPOLAP之间的比较。

 

OLTP

OLAP

用户

操作人员,低层管理人员

决策人员,高级管理人员

功能

日常操作处理

分析决策

DB 设计

面向应用

面向主题

数据

当前的, 最新的细节的, 二维的分立的

历史的, 聚集的, 多维的集成的, 统一

存取

/写数十条记录

的读上百万条记录

工作单位

简单的事务

复杂的查询

用户数

上千个

上百个

DB 大小

100MB-GB

100GB-TB

 

OLTP数据

OLAP数据

原始数据

导出数据

细节性数据

综合性和提炼性数据

当前值数据

历史数据

可更新

不可更新,但周期性刷新

一次处理的数据量小

一次处理的数据量大

面向应用,事务驱动

面向分析,分析驱动

面向操作人员,支持日常操作

面向决策人员,支持管理需要


OLTP是通过物化,即是经过逻辑运算和改变储存方式将关系型数据库转为数据仓库.物化的好处是可以存储中间的结果,决策时由于数据经过处理能快一点.坏处是表现的逻辑会更复杂,更储存空间加大,备份难和维护管理不方便等缺点.

在数据处理中,有三种,一是全物化,也即物化,二是不物化(但决策处理会慢),三是部分物化,(根据情况而设计的.)
使用物化要考虑的条件有:查询的对象,使用频率,开销

OLAP系统按照其存储器的数据存储格式可以分为关系OLAPrelational olap,简称rolap)、多维OLAPmultidimensional olap,简称molap)和混合型OLAPhybrid olap,简称holap)三种类型。

 

OLAP系统的体系结构和分类
数据仓库与OLAP的关系是互补的,现代OLAP系统一般以数据仓库作为基础,即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取。

 

1.    rolap

rolap 将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个sql查询都作为实视图保存, 只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对olap服务器的查询,优先利用已经计算好的实视图来生成查询结果以提高查询效 率。同时用作rolap存储器的rdbms也针对olap作相应的优化,比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、sql olap扩展(cube,rollup)等等。

 

2.    molap

molap olap分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围,而总结数据作为多维数组的值存储在数组的单元中。由于molap采用了新的存储结构,从物理层实现起,因此又称为物理olapphysical olap);而rolap主要通过一些软件工具或中间软件实现,物理层仍采用关系数据库的存储结构,因此称为虚拟olapvirtual olap)。

 

3.    holap

由 于molaprolap有着各自的优点和缺点(如下表所示),且它们的结构迥然不同,这给分析人员设计olap结构提出了难题。为此一个新的olap结 构——混合型olapholap)被提出,它能把molaprolap两种结构的优点结合起来。迄今为止,对holap还没有一个正式的定义。但很明显,holap结构不应该是molaprolap结构的简单组合,而是这两种结构技术优点的有机结合,能满足用户各种复杂的分析请求。

 

转自:http://www.cnblogs.com/panwei/archive/2006/06/03/416296.html

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16210564/viewspace-695444/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 行迁移或行连接
请登录后发表评论 登录
全部评论

注册时间:2011-01-19

  • 博文量
    21
  • 访问量
    22193