第三章   设计数据仓库

1.  主要面临的问题：扫描现有系统的文件,找出变化数据,

2.  数据库设计的五种技术：

n      扫描操作型环境中打上时戳的数据

n扫描增量文件

n扫描日志文件或审计文件

n修改应用程序代码

n比较前后映像文件

3.  数据仓库的数据模型（应该不是重点）

a.数据建模的三个层次：

n高层模型

n  实体关系图

n  ERD（高层建模，该层的实体处于最高抽象层）

n  以实体和关系为特征

n  实体用椭圆表示

n  关系用箭头表示

n  箭头方向和数量表示关系的基数

n中间层模型

n  数据项集

n  DIS (中层模型)

n底层建模

n  物理模型

 b. 系统的建模者、管理人员和最终用户会共同制定一个集成范围

c.集成范围定义了数据模型的边界，而且是在建模之前定义

     d. 实体和属性的建模惯例

n   唯一的名字

n  标题风格

n  完整、非缩写的单词

n  单数名词

4.  数据仓库的数据模型（应该也不是重点）

 自己看一下书和ppt差不多了。。。。。。。

5. 数据模型与迭代式开发 （也不是重点吧）

n   任何情况下，数据仓库都应当以迭代的方式开发

6.规范化与反向规范化

 要解决的问题：

i数据模型处理的输出是一系列表，每个表都包含关键字和属性

ii设计生成的许多小表进行连接运算时，会造成I/O性能的急剧下降

解决的方法：

i较合理的方法是将这些表物理合并，使得I/O代价最小化

ii另一种非常有用的技术是创建数据数组

n   要求数列中值的数量稳定、数据是按顺序访问的、数据的创建与修改在统计上是以非常有规律的方式进行等

n   由于数据具有基于时间特性，因而可通过时间建立数组

iii另一种技术是有意引入冗余数据

iv另一种有用的技术

n   当数据访问频率相差悬殊时，将数据作进一步分离

v另一种有用的技术

n   通过引入导出数据减少I/O代价

vi最具创新性的技术

n   建立创造性索引或创造性概要文件

n   如果对管理有价值的需求能够预见，就更有意义

最后一个设计技术:

n   参照完整性管理

n   数据仓库环境中应采用不同方法表示参照完整性

7.数据仓库中的快照（应该不重要）

a.数据仓库是为各种各样的应用和用户建造的

b.但有一条共同的规律

n  每个数据仓库内部都是以快照的数据结构为中心来组织的

b.快照触发器：

n  由记录离散活动信息的事件触发

n  时间触发

n  组成：

i关键字

ii时间单元

iii只与关键字相关的主要数据

iv作为快照过程的一部分被捕获，但与主要数据和关键字都无直接关系的二级数据

8.元数据（重点！）

a.定义：元数据是关于数据的数据

b.功能：元数据使最终用户或DSS分析员能够探索各种可能性

c.特点：元数据与指向数据仓库内容的索引相似，处于数据仓库的上层，并且记录数据仓库中对象的位置

d.元数据存储的记录：

n  程序员及DSS分析员所知的数据结构

n  数据仓库的源数据

n  数据进入数据仓库时进行的转换

n  数据模型

n  数据模型与数据仓库的关系

n  抽取数据的历史记录

       e. 数据仓库中的参照表管理:

n      使用参照数据可以显著地减少数据仓库中的数据量

n  包括多种参照表设计方法：

n  第一种：每隔一段时间建立整个参照表的一个快照

n  第二种：在某一时间起点上，对参照表生成一个快照，并且收集一年中所有对参照表的活动。

1.  转换和集成的复杂性(重点)

a.  ETL（Extract/Transform/Load）

ETL软件的划分：

i产生源代码的软件

ii产生参数化的运行时模块的软件

 ETL的替代软件—ELT(extract/load/transform)

优点：转换的同时可以引用大量的数据

缺点：可能仅仅抽取和装载了数据，跳过了转换过程

   b. 在键中增加时间

i对于实体，有两种策略：

n为每个实体添加时间成分。如，如果每个月做一次快照，可以添加字段month year.

n当实体输入和改变时，修改时间字段

ii如果不能确定精确的系统时间，就用抽取时间替代

2.  维度事实模型DFM

n    事实是与决策相关的概念，通常是建模公司内发生的一组事件

n   维度是范围有限的事实属性，提供了事实的分析坐标

维的层次：关系数据库在字段上做文章，数据仓库在维度上做文章

           维不仅是查询数据的一个角度，而且提供查询的深度

3.  星型模型 （大题）

  定义：数据集市主要根据需求建立一个最优的星型模型结构

  特点：

n文本数据与数值数据分离

n文本数据通常出现在维表中，而数值数据出现在事实表中

创建星型模型的优点：

n可以为决策支持系统的处理优化数据

n不适合决策支持系统数据集市环境以外

适应性：数据模型应用于数据仓库中较小的实体，星型模型作为设计基础应用于数据集市中很大的实体

三个逻辑实体：

a.  维度表

n     一个星型模型只有一个事实表

n事实表包括独有的标识数据，同时包含其本身的独有数据

n事实表往往是数字度量，不欢迎描述性信息

n事实表可达数百万行或更多

n最小粒度原则

n事实表同时包含指向周围表（维表）的预先连接的外键

n可以有任意多个外键与维表相关

两者联系

n维度表与事实表不是绝对的

n一个事实表可以有多个维度表

n一个维度表可以对应多个事实表

b.  事实表

c.  对应联系

12.雪花模型

a.维表进一步层次化，改善查询性能

b.增加表的数量，增加查询复杂性

c.节省存储空间

d.层次性好

4.  星型模型与雪花模型的对比

a.  星型模型效率优于雪花模型

b.  如果存储存在瓶颈可以选择雪花模型

c.  如果维护方面要求简便性，可以考虑使用雪花模型

5.  数据仓库与数据集市

  a. 数据如何从数据仓库到达数据集市？

n周期性地转移

n对于数据仓库中的数据，必须经过选择、访问、重组才能适合数据集市的要求

n对于数据仓库中需要对大量细节数据数据进行多种不同的计算

n重要问题在于：访问多少数据和刷新频率

数据仓库与数据集市的区别与联系（！！！重点）：

n所有数据集市的结构都依赖于数据仓库中粒度化的数据

n数据集市结构一般是星型模型并且包含事实表和维表

n任何数据集市的数据结构与其他数据集市的都不同

n试图将任何一个数据集市转变为数据仓库都不具有意义