首页 > 大数据 > 数据挖掘 > DW2.0下一代数据仓库架构 前言(读书笔记)
版权声明:
该系列文章(DW2.0下一代数据仓库架构)内容系作者学习用笔记,
欢迎共同学习,所载内容版权归原书作(译)者所有,请勿转载商用。
数据仓库已经问世二十多年,它已经成为信息技术基础设施的基本组成部分。
数据仓库能够为企业提供整合的、粒度的、历史的数据结构。
当前数据仓库存在的问题:
一、当前对数据仓库有多种不同的解释和实现方式。例如:联合数据仓库,主动数据仓库,星状模型数据仓库,数据集市数据仓库等。
实际上有多少家软硬件供应商就有多少对数据仓库的解释和实现方式。
二、数据仓库结构也存在多种不同的解释和实现方式。并且每一种实现在架构上都与其他的实现有很大区别。
DW2.0应运而生,DW2.0中有很多重要的架构上的特征。相对于第一代数据仓库在技术和架构上都有很多进步。
1、认识到数据仓库中的数据的声明周期。第一代数据仓库仅将数据存放于磁盘存储器中,事实上,数据一旦进入到数据仓库,就有了自
己的声明周期。进入数据仓库后,数据开始老化,数据被访问的可能性也逐渐降低。另一种现象是,随着数据老化,数据容量会不断增加,
并且大多数情况下这种增加是显著地。想要处理访问可能性不断降低的大量数据,就需要一种特定的设计,以免数据仓库的花费巨大,以至
于不能有效的使用数据仓库。
2、DW2.0包含非结构化数据。第一代数据仓库完全由面向事务的结构化数据组成,这些数据仓库提供大量有用的信息,而现代数据仓库
应该同时包含结构化和非结构化数据。非结构化数据中存在着大量有用的信息,但如何获取这些信息事实上是非常大的挑战。DW2.0具体描述
了包括结构化数据和非结构化数据。
3、元数据的重要性和作用在DW2.0中的开始得到认可。元数据存在于数据库管理系统中、业务对象领域中、ETL工具中。DW2.0需要的是
企业元数据,是从企业级视角理解元数据。需要调节元数据的多有来源并将它们放置在一个能使它们协调工作的环境中。除此之外,在DW2.0
环境中还需要技术元数据和业务元数据的支持。
4、随着时间推移,业务在不断发生变化,这些变化通常反映在数据模型上。但是数据仓库的技术基础却不能很容易改变。DW2.0采用两
种解决方案,1、Kalido这样的软件,为数据仓库提供一种有延展性的技术基础。2、在数据定义时,设计分离静态数据和临时数据。这两种
方法对数据仓库的技术基础随着业务需求的改变而改变来说有很好的效果。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/26613085/viewspace-1312774/ ,如需转载,请注明出处,否则将追究法律责任。