ITPub博客

首页 > 大数据 > 数据挖掘 > 数据仓库(一)

数据仓库(一)

原创 数据挖掘 作者:jiajibin0618 时间:2007-06-04 16:45:18 0 删除 编辑

想了解数据仓库是什么,请跟着看吧,以下是我个人在项目开发中,学习到的内容,提出与大家分享。

[@more@]

1 数据仓库概述

1.1 从数据库到数据仓库

由数据库(DB)发展到数据仓库(DW)主要在于如下几点:

l 数据太多,信息贫乏:企事业单位建立大量数据库,数据载来载多,而辅助决策信息却很贫乏,如何将大量的数据转化为辅助决策信息成了研究热点。

l 异构环境数据的转换和共享:由于各类数据库产品的增加,异构环境的数据也随之增加,如何实现这些异构环境数据的转换和共享也成了研究的热点。

l 利用数据进行事务处理转变为利用数据支持决策:数据库用于事务处理,若要达到辅助决策,则需要更多的数据。例如,如何利用历史数据的分析来进行预测。对大量数据的综合得到宏观信息等均需要大量的数据。

1.2 数据库与数据仓库对比

数据库

数据仓库

面向应用

面向主题

数据是详细的

数据是综合的或提炼的

保持当前数据

保存过去和现在的数据

数据是可更新的

数据不更新或很少更新

对数据操作是重复的

对数据的操作是启发式的

操作需求是事先可知

操作需求是临时决定的

一个操作存取一个记录

一个操作存取一个集合

操作比较频繁

操作相对不频繁

查询的是原始数据

查询的是经过加工的数据

事务处理需要的是当前数据

决策分析需要过去,现在的数据

很少有复杂的计算

很多复杂计算

支持事务处理

支持决策分析

1.3 数据字典与元数据

1.3.1 数据库的数据字典

数据库中各类数据描述的集合,它是关于数据库中数据的描述,而不是数据本身。包括数据项、数据结构、数据流、数据存储和处理过程5个部分。其中数据项是最小的组成单位,若干数据项构成数据结构。数据字典对数据项和数据结构的定义来描述数据流、数据存储的逻辑内容。

l 数据项:包括数据名、数据含义说明、类型、长度、取值范围和取值含义等。

l 数据结构:包括数据结构名称、含义说明和数据项组成等。

l 数据流:数据结构在系统内部传输的路径,包括数据流名、说明、数据流来源、数据流去向和平均流量(单位时间传输的次数)等。

l 数据存储:数据结构保存数据的地方,包括数据存储名、说明、编号、输入的数据流、输出的数据流、数据量、存取频度和存取方式(联机处理还是批处理;是检索还是更新;是顺序检索还是随机检索)。

l 处理过程:用于判定表或判定树来描述。数据字典中只需要描述处理过程的说明性信息,通常包括处理过程名、说明、输入、输出和处理(说明该处理过程的功能及处理要求)。

1.3.2 数据仓库的元数据

元数据(meta data)不仅是数据仓库的字典,而且还是数据仓库本身信息的数据,它定义了数据的数据(data about data),即描述数据仓库的数据和环境,它是数据仓库的核心。它不仅定义了数据仓库有什么,还指明了数据仓库中信息的内容和位置,刻画了数据的抽取和转换规则,存储了与数据仓库主题有关的各种商业信息,而且整个数据仓库的运行都是基于元数据的,如数据的修改、跟踪、抽取、装入、综合以及使用等。

1.4 数据仓库概念及特点

数据仓库概念:面向主题的、集成的、稳定的、不同时间的数据集合,用于支持经营管理中决策制定过程。

特点:

1) 面向主题

主题是数据归类的标准,每一个主题基本对应一个宏观的分析领域。例如,保险公司的数据仓库的主题为客户、政策、保险金和索赔等。

基于应用的数据库组织则不同,它的数据只是为了处理具体应用而组织在一起的,保险公司按照应用组织的数据库是汽车保险、生命保险、健康保险和伤亡保险等。

2) 集成的

数据进入数据仓库之前,要进过加工和集成。通常要经过ETL操作。

3) 稳定的

数据仓库中包括大量历史数据。进入到数据仓库的数据极少或根本不更新。

4) 随时间变化的

数据仓库内数据时限在5~10年,故数据的键码包含时间项,并标明数据历史时期,以便适合决策分析时进行时间趋势分析。

而数据库只包含当前的数据有意义,即存储某一时间的正确的有效数据。

5) 数据量很大

数据仓库数据量为10GB级,相当于一般数据库100MB的100倍,大型数据库是一个TB级数据量。

数据仓库中数据量的比重是:索引和综合数据占2/3,原始数据占1/3。

6) 硬件要求较高

需要一个巨大的硬件平台

需要一个并行的数据库系统

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/10028836/viewspace-917386/ ,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 数据仓库(二)
请登录后发表评论 登录
全部评论
  • 博文量
    4
  • 访问量
    598712