版权声明：
该系列文章（DW2.0下一代数据仓库架构）内容系作者学习用笔记，
欢迎共同学习，所载内容版权归原书作（译）者所有，请勿转载商用。

    为了理解DW2.0是怎么形成的，考虑一下几个形成因素：
    1、在第一代数据仓库中，强调了数据仓库本身的建立和增加商业价值。在第一代数据仓库的时代，获取价值是指主要获取以数字为主
       的事务数据，并整合他们。而今天，从企业数据中获得最大价值意味着利用所有的企业数据并从中获取价值，这意味着既包含文本的
       非结构化的数据，也包括数字化的交易数据。
    2、在第一代数据仓库中，没有对数据的存储介质和数据量给予太多关注。但时间已经证明数据的存储介质和数据量确实非常重要。
    3、在第一代数据仓库中，人们已经认识到整合数据是一个问题，现在人们发现整合旧的数据是一个超乎想象的更大的问题。
    4、在第一代数据仓库中，成本几乎不用考虑。现在数据仓库的成本则是人们一个主要关注点。
    5、在第一代数据仓库中，人们忽视了元数据。现在，元数据和主数据的管理成为人们热议的话题。
    6、在第一代数据仓库的早期，数据仓库被认为是一个新鲜事物。如今数据仓库被认为是有竞争力地利用信息的基础。数据仓库必不可少
    7、在数据仓库发展的早期，重点是构建数据仓库。现在人们认识到，数据仓库需要随着时间的推移保持可扩展性，便于业务不断变化。
    8、在数据仓库发展的早期，人们认为数据仓库对统计分析可能有用。今天人们认识到，利用数据仓库进行统计分析的最有效的方法是在
       一个称为探索仓库的相关数据仓库结构中进行。
    经过几十年建立和使用这些结构的实践，我们确实已经对数据仓库更加了解。

DW2.0--一种新的范式
    DW2.0是由当前的一些开明且有远见的决策支持企事业界所要求的一种新的数据仓库范式。这种新的范式关注数据的不同类型、基本结构
以及他们怎么关联起来形成一个强大的数据存储器以满足公司对信息的需求。

DW2.0--从企业的角度
    DW2.0之所以能吸引企业人士有一些重要的原因。
    1、数据仓库基础设施的成本不再持续增长。在第一代数据仓库中，技术基础设施的成本是不断增长的。随着数据量的增长，基础设施的
       成本会以指数级增长。但是使用DW2.0，数据仓库的这一成本会趋于平稳。
    2、使用元数据将基础设施结合在一起，这意味着数据不会轻易丢失。在第一代数据仓库中，一个数据单元或一个数据类型是很容易“
       丢失”的。作为DW2.0骨干的元数据则不会令数据轻易丢失。
    3、数据访问速度快。在第一代数据仓库中，数据是堆叠在其他数据上的。堆叠的数据很快就成为访问障碍，因为需要的数据很可能隐藏
       在大量不需要的数据下，结果造成较低的访问性能。在DW2.0环境下，数据是根据其访问概率放置，比第一代数据仓库更高效。
    4、归档需求的关注。第一代数据仓库很少甚至没有存档数据，因此数据只能存储相对较短的一段时间。DW2.0有归档区，这意味着数据
       可以永久保存下去，或者是需要而定。
    5、数据仓库吸引大量的数据。在第一代，终端用户不得不忍受管理和访问大量数据带来的痛苦。而在DW2.0中，数据是分段的，终端用
       户需要处理的数据量会少很多。
    所有这些因素都对终端用户有一定的影响。数据仓库的成本显著降低，有效访问和查询数据的能力提高，数据访问速度加快，数据可保

存的时间增长。这些因素提高企业人士使用手的能力，使得他们能够以一种比第一代数据仓库更有效的方式使用数据。

数据的生命周期
    在第一代数据仓库中，只是在数据仓库建立时把数据存放在某种形式的磁盘存储器即可。事实并非如此，数据进入到数据仓库就开启了
数据的生命周期。DW2.0数据仓库包括了四个数据生命周期“分区”。交互区、整合区、近线区和归档区。数据进入数据仓库迅速进入交互区
随着数据的调整，数据被整合后传递到整合区。整合的数据是在整合区发现的，并且一直位于整合区，直至访问概率下降。数据的访问概率
往往会伴随着存储时间的增加而下降。通常情况下，3-4年之后，整合区的数据访问概率会明显下降。数据经过整合区之后可能进入近线区和
归档区。近线区就像是整合区的延伸。近线区是可选择的，数据不一定需要经过这一区。但是当数据量非常大并且数据间的访问概率差别很
大时时，就可以利用近线区处理。归档区的数据访问率很低，数据可以从整合区或者近线区进入到整合区。归档区的数据通常是5-10年，
甚至更长。

    数据要么通过ETL从另一个应用程序导入DW2.0环境，要么通过嵌入在交互区中的应用程序直接导入DW2.0环境。交互区是数据联机更新的
场所，并且在相应方面有很高的性能。进入交互区的数据都是刚进入数据仓库的数据，也许只生成了几秒钟。交互区的另一类数据被用作
共享应用程序的一部分来处理，在这种情况下，数据生成时间仅有几毫秒。数据可以利用两种方式之一进入交互区。一种在DW2.0数据仓库
外部可能存在这样的应用，可以捕获被当成交易的副产品。在这种情况下，应用程序执行交易，之后将数据通过ETL传送到交互区。另一种
应用程序是DW2.0数据仓库的一部分，交易执行后，数据立即被送入到交互区。区别两种方式的关键是交互区的应用程序位于交互区的外部还
是实际位于交互区内。无论怎样，交易数据必定要面向应用的，在交互区的数据最终会达到应用状态。
    某一时间点，交易数据需要跟应用数据整合在一起。这些时间点可能在数据达到交互区之后的几秒，也可能是几天或者几周之后。总之
在一些时间点需要整合应用数据，这些时间点是在数据激怒肉整合区之后的时间。数据通过ETL进入到整合区。在ETL时，数据从应用状态到
企业状态。这个任务是由ETL的转换代码完成的。在整合区，数据与其他相似的数据聚集在一起，。大量数据聚集在整合区，而且只要其一直
保持较高的访问概率，就一直处于整合状态。对于很多组织而言，这以为这数据在整合区要保留3-5年时间，这取决于组织的业务及其所作的
决策支持处理。
    有时，整合区将有非常大的数据量和非常频繁的数据访问。这是，最好使用近线存储器作为整合区的一个缓存。企业可以利用近线区以
电子方式提供大量数据。带有近线存储器的整合数据存储器使得整个环境的成本更易接受。当数据的访问概率剧烈下降，数据被放入近线
存储器，而访问概率大的数据不应放入近线存储器。我们认为所有存入近线存储器的数据的访问概率都已经由控制企业数据存储的分析员
核实过。
    DW2.0的归档区保存那些以电子方式手机回来的、将来可能被使用的数据。归档区所存储的数据都是由近线区或者整合区传送来的，他们
的访问概率很低。有时，数据存储在归档区是处于预防的目的，即使人们认为它的访问概率是零。

设置不同区的原因
    不同区之间的区别的核心问题是，数据从一个区传递到另一个区时，数据的基本操作参数随之改变。各区之间访问概率和访问模式差别
很大。交互区被频繁访问，且访问模式是随机访问。整合区数据访问率也很高，通常是顺序、成串的访问。近线区访问率相对较低，随机
访问，归档区很少被访问，它能够被顺序地、不定期地、随机的访问。
    各区之间的数据量有很明显的差别。交互区数据量较小。整合区数据较多。近线区通常有相对大数量的数据。归档区的数据可能明显增
长，即使最初几年收集的归档数据相对较小，但是随着时间的推移，大量数据完全有可能被聚集到归档区。
    性能不佳和成本高并不是第一代数据仓库达不到最佳的唯一原因，将数据划分为不同的生命周期还有一个其他原因，不同的区可以采用
不同适合的技术。比如：
    1、元数据在交互区中是和数据分开存储，但是在归档区却和数据直接存储在一起。原因在于归档数据可能20年或者30年没有使用过，
不知道将来什么时候出于什么目的访问。元数据需要与实际数据一起存储，以便在审查归档数据时清除地知道它是什么。
    2、数据访问。交互区和归档区在数据访问的方式和概率上差别很大。交互区的数据被随机地频繁访问。要求的响应速度很快，归档区
数据很少被访问，访问时会顺序的访问整段的记录。除此之外，归档数据访问的响应时间相对宽松。
    所以，在DW2.0架构下的各数据区之间，数据访问方式有很大不同，各区 应用的技术也不同。因此，没有任何一种单一的技术是现代
数据仓库中发现数据的最佳数据。

结构化数据/非机构化数据
    一般存在两种基本类型的数据--结构化数据和非结构化数据。
    虽然目前的技术还不能非常精妙的处理非文本数据，但是对文本的非结构化数据来说却不同。可以对文本的非结构化数据进行捕获和
操作。标准数据库技术很难处理文本数据，因为文本数据不像结构化数据那样结构统一。但是文本数据价值非常大，蕴含很多有价值的信息
只是文本数据不容易被标准数据库技术处理和操作。
    DW2.0要求将非结构化文本数据存放在数据仓库中，并且与结构化数据整合在一起。这为我们创新地利用信息带来了很好的机会。将结构
化和非结构化数据整合在一起面临很多挑战。其中之一是结构化数据和非结构化数据的整合。有些非结构化数据无法与结构化数据整合，有
些可以。非结构化数据分为：半结构化数据和非结构化数据。文本数据整合进DW2.0环境需要以非结构化数据和半结构化数据作为输入。

文本分析
    DW2.0数据仓库结构化和非结构化数据的整合，使得对文本数据的分析处理有了用武之地，它既可以对非结构化数据可以对结构化和非
结构化相结合的数据进行分析处理。
    “废话”。将非结构化数据与结构化数据合并面临许多挑战，其中之一是筛选非结构化数据。由于多种原因，非结构化数据中包含了
一些“废话”，这些“废话”对公司业务没有任何意义。如果公司不屏蔽“废话”，那么加载到DW2.0环境的非结构化数据可鞥都是不相关
的臃肿的数据，不利于分析。因此，筛选时收集和管理非结构化数据的一个重要过程。
    “术语问题”，文本是由许多不同的人写的，必须考虑不同的人使用不同的术语的问题。如果要将文本数据用于文本分析，必须首先经
过规范化过程。文本规范化要求将文字映射成两种格式--特定格式和一般核实。特定格式通常是人所说的或所写下的。一般格式是对文本
规范化所达到的数据值。因此，为DW2.0环境准备飞格式化数据的第二个步骤是读取特定数据，并对特定数据添加一般数据，使得数据适合
分析。

元数据-一个主要组成部分
    DW2.0认为元数据是数据仓库基本结构的一个主要的并且是极为重要的部分。处于多种原因，元数据在第一代数据仓库中一直没有被认为
或者作为一个重要组成部分，随着新一代数据仓库的出现，元数据不会再被忽视。原因：
    1、规模和多样化：今天的数据仓库比以往的数据仓库更大，也更多样化。现在的数据仓库中数据的数据量和多样性，他不可能掌握其中
       所有内容。
    2、更多样化的用户：现在数据仓库的用户越来越多样化。过去只是有少量的一些用户，他们形成了一个非常紧密的社区。现在则有很多
       不同背景的用户。使这些用户了解数据仓库中有什么完全是数据仓库应该完成的工作。
    3、广泛的元数据范围：元数据位于成功的DSS处理的核心，终端用户分析师必须知道很多关于可用于分析的数据的事情，需要知道数据
       来自哪里，是什么意思，进行什么计算，包含哪些数据，不包含哪些数据，数据何时可用等等。
    4、管理需要：随着数据仓库的成长，数据仓库环境的管理变得更加复杂。元数据越好，管理起来越容易。
    DW2.0元数据需要描述结构化和非结构化数据。诚然，元数据的典型使用时用来描述结构化数据，但非结构化数据的引入，使得元数据在
描述非结构化数据方面非常有用。事实上，结构化与非结构化数据整合过程的一部分就是整合DW2.0环境中这两种数据类型的元数据。
本地元数据
    今天我们周围有大量的元数据。ETL工具中、数据库目录中、BI工具中。。。元数据无处不在。这些元数据都是正在被使用的工具所专有
的，可以称之为本地元数据，我们缺少的是企业范文的元数据。DW2.0需要两层元数据：本地元数据和企业元数据。在本地元数据中分为技术
元数据和业务元数据。现在大多数企业元数据都与技术相关，而不是业务元数据。

基础技术
    技术基础是任何数据仓库的一个重要组成部分。简单地说，没有一个潜在的技术基础，数据仓库不可能存在。但数据仓库的技术是根植
于一种静止状态。一旦数据仓库深植于其技术，就很难改变。当业务需要更新时，改变技术基础将相当困难。新一代DW2.0方法要求数据仓库
不能一建到底。数据仓库的开发应该围绕业务需求的逐步改造完成的。
不断变化的业务需求
    业务变化时一种可预测的持续不断的现实，但改变业务所依据的技术基础设施并不容易。不断变化的业务与不变的基础基础设施是不一
致的。
    DW2.0解决了这一难题，它使用了以动态机制为基础的技术，可以很容易地随着时间的改变而改变。

DW2.0中的数据流
    对于结构化处理，数据或者直接通过一个交互环境下得应用程序进入系统，或者来自于DW2.0环境外部的一个应用程序。后者的数据是
通过ETL接口加工，然后进入交互区。结构化数据进入交互区后不久就会流入整合区，在这里数据转化为企业状态。从整合区流出的收随后
进入近线区和归档区。近线区的数据也最终会流入归档区。非机构化数据采取近似的过程。非结构化数据是以文件或者某些格式的文本数据
开始的，文本数据经历一个非结构化数据的ETL处理。然后进入DW2.0环境下的整合区。近线区是否适用于非结构化数据仍是未知，但是如果
需要非结构化环境下的近线数据，那么非结构化数据是可以流入近线区的。任何情况下，来自整合区或者近线区的数据流都进入非结构化数
据的归档区。

数据量
    另一个看待DW2.0环境中结构化和非结构化数据的有趣方式是从数据量的角度来看。DW2.0环境的结构化部分的交互数据通常相对较少，
而结构化整合数据量则有相当大的增长。当使用近线区时，它必须支持结构化数据量数据量会进一步增加。然后，当归档区比较成熟后，
归档的结构化数据还会有明显的增加。相比之下，非结构化环境中的整个生命周期区的数据量总是比结构化环境下得数据量更大，增长率也
更高。据统计，一些典型的企业中，非结构化数据是结构化数据的4-5倍。就算把无用的数据排除在外，非结构化数据仍然是结构化数据的
2-3倍。

实用应用程序
    有些新的应用过去无法实现，而DW2.0提供了这种可能。DW2.0对数据仓库的结构化和非结构化数据的支持引发了一些将这两种数据混合
起来的有趣应用。

DW2.0和参照完整性
    参照完整性在数据仓库领域起重要作用已经有很长一段时间了。参照完整性要求居于一个数据库的数据也必须由一套符合逻辑的规则所
控制。例如：如果医疗程序是分娩，那么病人的性别必须是女性。又如，如果有购买发生，那么必定有一个产品和服务被购买。DW2.0方法
延伸了参照完整性的概念。在DW2.0中，有外部参照完整性和内部参照完整性。外部参照完整性是指数据从一个区进入另一个区时的完整性
的保持，内部参照完整性是指数据在一个区内的完整性的保持。
 
DW2.0的报告
    在DW2.0环境中的任何地方都可能出现报告，并非所有报告都是在某一处运行，而是各种不同的报告在不同的地方运行。有的报告在交互
区运行，其他的报告子啊整合区运行，有些报告利用来自DW2.0环境交互区和整合区的结构化和非结构化数据的组合来运行，其他报告则
通过DW2.0环境中的非结构化部分运行。

总结：
    DW2.0是新一代数据仓库环境的架构。DW2.0和第一代数据仓库有很大的区别。
    1、随着数据进入并存储于数据仓库，产生了对数据生命周期的认识
    2、数据仓库中包含非结构化数据
    3、DW2.0环境包含元数据
    4、DW2.0的技术基础能够随着时间而变化
    DW2.0有四个主要的生命周期
    1、交互区，数据仓库以更新模式在交易响应时间水平下完成构建。
    2、整合区，数据在这里经过整合并完成分析
    3、近线区，作为整合区数据的一个缓存区域
    4、归档区，存放访问概率显著下降但仍有可能被访问的数据
    DW2.0既包含结构化数据也包含非结构化数据。非结构化数据进入数据仓库之前必须经过一个整合过程。整合过程对于文本分析提供非
结构化文本非常必要。如果非结构化文本未经整合，就无法有效地进行文本分析。非结构化数据进入DW2.0环境做准备的主要任务之一就是
清除废话，另一项必要的工作是术语规范化。文本必须同时拥有特殊和一般两种参考，以便成功地进行文本分析。
    元数据是DW2.0的一个重要组成部分，企业级，本地级，业务级，技术级。
    要想获得成功，DW2.0环境必须建立在可随时间变化的技术基础上。