想了解数据仓库是什么,请跟着看吧,以下是我个人在项目开发中,学习到的内容,提出与大家分享。
[@more@]由数据库(DB)发展到数据仓库(DW)主要在于如下几点:
l 数据太多,信息贫乏:企事业单位建立大量数据库,数据载来载多,而辅助决策信息却很贫乏,如何将大量的数据转化为辅助决策信息成了研究热点。
l 异构环境数据的转换和共享:由于各类数据库产品的增加,异构环境的数据也随之增加,如何实现这些异构环境数据的转换和共享也成了研究的热点。
l 利用数据进行事务处理转变为利用数据支持决策:数据库用于事务处理,若要达到辅助决策,则需要更多的数据。例如,如何利用历史数据的分析来进行预测。对大量数据的综合得到宏观信息等均需要大量的数据。
数据库 | 数据仓库 |
面向应用 | 面向主题 |
数据是详细的 | 数据是综合的或提炼的 |
保持当前数据 | 保存过去和现在的数据 |
数据是可更新的 | 数据不更新或很少更新 |
对数据操作是重复的 | 对数据的操作是启发式的 |
操作需求是事先可知 | 操作需求是临时决定的 |
一个操作存取一个记录 | 一个操作存取一个集合 |
操作比较频繁 | 操作相对不频繁 |
查询的是原始数据 | 查询的是经过加工的数据 |
事务处理需要的是当前数据 | 决策分析需要过去,现在的数据 |
很少有复杂的计算 | 很多复杂计算 |
支持事务处理 | 支持决策分析 |
数据库中各类数据描述的集合,它是关于数据库中数据的描述,而不是数据本身。包括数据项、数据结构、数据流、数据存储和处理过程5个部分。其中数据项是最小的组成单位,若干数据项构成数据结构。数据字典对数据项和数据结构的定义来描述数据流、数据存储的逻辑内容。
l 数据项:包括数据名、数据含义说明、类型、长度、取值范围和取值含义等。
l 数据结构:包括数据结构名称、含义说明和数据项组成等。
l 数据流:数据结构在系统内部传输的路径,包括数据流名、说明、数据流来源、数据流去向和平均流量(单位时间传输的次数)等。
l 数据存储:数据结构保存数据的地方,包括数据存储名、说明、编号、输入的数据流、输出的数据流、数据量、存取频度和存取方式(联机处理还是批处理;是检索还是更新;是顺序检索还是随机检索)。
l 处理过程:用于判定表或判定树来描述。数据字典中只需要描述处理过程的说明性信息,通常包括处理过程名、说明、输入、输出和处理(说明该处理过程的功能及处理要求)。
元数据(meta data)不仅是数据仓库的字典,而且还是数据仓库本身信息的数据,它定义了数据的数据(data about data),即描述数据仓库的数据和环境,它是数据仓库的核心。它不仅定义了数据仓库有什么,还指明了数据仓库中信息的内容和位置,刻画了数据的抽取和转换规则,存储了与数据仓库主题有关的各种商业信息,而且整个数据仓库的运行都是基于元数据的,如数据的修改、跟踪、抽取、装入、综合以及使用等。
数据仓库概念:面向主题的、集成的、稳定的、不同时间的数据集合,用于支持经营管理中决策制定过程。
特点:
1) 面向主题
主题是数据归类的标准,每一个主题基本对应一个宏观的分析领域。例如,保险公司的数据仓库的主题为客户、政策、保险金和索赔等。
基于应用的数据库组织则不同,它的数据只是为了处理具体应用而组织在一起的,保险公司按照应用组织的数据库是汽车保险、生命保险、健康保险和伤亡保险等。
2) 集成的
数据进入数据仓库之前,要进过加工和集成。通常要经过ETL操作。
3) 稳定的
数据仓库中包括大量历史数据。进入到数据仓库的数据极少或根本不更新。
4) 随时间变化的
数据仓库内数据时限在5~10年,故数据的键码包含时间项,并标明数据历史时期,以便适合决策分析时进行时间趋势分析。
而数据库只包含当前的数据有意义,即存储某一时间的正确的有效数据。
5) 数据量很大
数据仓库数据量为10GB级,相当于一般数据库100MB的100倍,大型数据库是一个TB级数据量。
数据仓库中数据量的比重是:索引和综合数据占2/3,原始数据占1/3。
6) 硬件要求较高
需要一个巨大的硬件平台
需要一个并行的数据库系统来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/10028836/viewspace-917386/ ,如需转载,请注明出处,否则将追究法律责任。