数据仓库DBMS产品分析及发展趋势展望

目前，市场上数据仓库产品众多，在Gartner发布的《2010年数据仓库数据库管理系统魔力象限报告》（以下简称“报告”）中就有16种。其中有老牌厂商Teradata、Oracle、Sybase，也有新生力量，如Netezza、GreenPlum等。每种产品都有其独特的技术优势，不断争夺着数据仓库这块日益增长的市场蛋糕。

图1 2010年数据仓库数据库管理系统魔力象限

本文对报告中所有数据仓库产品进行分析和比较，试图从技术、市场、客户反应等角度归纳出各数据仓库产品的优势和不足，并对近期业界提出的数据仓库未来发展趋势进行总结，希望能为企业数据仓库选型提供参考。

一、      数据仓库产品分析

本文重点对报告中的领导者象限产品进行分析，其他产品在国内应用较少，这里只做简单说明。

1. Teradata

Teradata以优异的大数据量处理和线性扩展能力著称，近几年一直处于数据仓库领导者地位，国内金融业数据仓库大部分都是采用Teradata产品。Teradata产品以集成的数据仓库设备（集成服务器、存储、操作系统和数据库）为主，目前分为五个产品线：单节点系列（面向开发和测试）、1系列（面向大规模数据存储分析）、2系列（面向部门级数据仓库）、4系列（采用固态硬盘，面向高速分析）和5系列（面向企业级数据仓库），能够适应各种规模的数据仓库系统建设。

 Teradata数据仓库解决方案齐全，以前一直走“高端客户”策略，在大型企业级数据仓库客户中占有绝对优势。目前高端市场接近饱和，Teradata开始向中低端客户领域扩展，但相对较高的价格制约了市场拓展。

产品特点：

l  大数据量处理性能较强

l  可线性扩展，实现投资保护

l  数据库易于管理和维护

2. Oracle Exadata

Oracle是全球最大的数据库厂商，占关系型数据库市场的48%。Exadata是其推出的数据仓库产品，通过专用的集成设备、大容量并行网格结构Smart Flash Cache技术实现了处理高并发工作负荷的能力，产品中还增加了分区管理、列存储压缩等技术，来提高大数据量处理的性能。

Exadata一直强调“混合系统”概念，也就是即可以满足数据仓库的DSS等大数据量处理的要求，又能保证传统OLTP应用的性能。正如“鱼和熊掌不可兼得”，由于这两类应用在数据的存储和处理方式上的要求不同，从实际效果看：Exadata的强项仍在OLTP方面，数据分析适用于中小规模。

 产品特点：

l  事务处理性能较好

l  混合负载控制较好

l  兼容Oracle产品和工具，易于使用

3. IBM Netezza

IBM最初使用DB2作为数据仓库解决方案，并提供独立的数据库软件和数据库集成设备的两种解决方案，但产品技术优势不明显，且未给予足够重视，市场逐渐萎缩。为弥补不足，2010年IBM收购了专业的数据仓库厂商Netezza，希望利用Netezza的技术来与Teradata、Oracle等产品抗衡。

Netezza提供集成的数据库设备TwinFin解决方案，利用专利“流式数据处理架构FPGA”技术（硬件芯片），在数据通过磁盘时将无关数据快速过滤，解决了传统数据仓库产品中服务器和存储间数据流瓶颈问题，实现高性能数据处理。目前Netezza在国内尚无实施案例，流技术是否满足海量数据的精确分析有待验证。

 产品特点：

l  针对数据分析设计，性价比高

l  兼容Oracle语句及主流BI工具

l  系统易于管理和维护

l  刀片式架构，扩展简单

4. Sybase

Sybase提供全套的数据仓库软件（包括数据库系统Sybase IQ、ETL工具PowerStage、建模工具PowerDesigner等）和集成的数据仓库设备两种解决方案，在国内外有众多实施案例。

Sybase IQ使用“列存储”技术，该技术被证明更适合数据分析。首先，数据分析一般只访问记录的部分字段，因此磁盘访问时可以不读取整条记录，而只读取需要的字段，大大减少了I/O访问；其次，列存储可以获得比传统行存储数据库更高的压缩比，能节省大量空间；最后，由于数据查询条件是通过列定义的，数据库能够实现自动索引。但是，列存储也存在一些问题，如加载速度、复杂查询等方面存在不足。

产品特点：

l  “列存储”技术

l  混合负载控制较好

l  并行查询及扩展能力强

l  集成数据挖掘工具，适合实时分析

5. GreenPlum

GreenPlum近几年异军突起，以其独特的技术与传统数据仓库产品相抗衡。2010年被EMC收购后，产品线进一步完善，提供独立的数据库软件和集成的数据仓库设备两种解决方案。

GreenPlum将SQL和MapReduce功能整合到统一的数据处理框架中，利用MPP架构的并行计算能力满足大规模数据存储和处理需求。产品的一大特色是可与任何基于MapReduce的外部产品协同工作，容易实现当下流行的“云计算”架构；另一大特色是用户可以自行选择开放平台PC服务器搭建海量数据处理环境，降低数据仓库的TCO。不过，开放平台的稳定性和节点间的非专用传输网络会给GreenPlum运行带来一些影响。

 产品特点：

l  支持行列混合存储

l  可在线扩容和维护，无需停机

l  数据加载速度快，可实现实时分析

l  基于PosgreSQL开发，工具和应用资源丰富

6.   其他产品

表1 数据仓库魔力象限其他产品分析

二、      数据仓库技术发展趋势

从上面的分析也可以看出数据仓库技术未来的一些发展方向，主要有以下三个方面：

1.  集成的数据仓库设备（一体机）将成为主流

超过50%的数据仓库厂商提供了数据仓库一体机解决方案，而且越来越多的厂商正在计划加入这个阵营。一体机集成了服务器、存储和软件，具有安装、配置、管理简单、软硬件协同、高可用性及性能可以最大限度得到同一厂商的保证等特点。根据Gartner预测，未来数据仓库将有70%会采用一体机建设。

2.  行列混合存储技术将给数据仓库带来一次技术革新

单纯的行存储或列存储在使用上均不能很好的满足数据仓库分析的要求，混合存储技术可以根据数据访问特点有针对性的改变数据存储结构，在应用不做任何变更的情况下大幅度提升系统运行效率，减少数据空间占用，对于大型数据仓库有重要意义。

3.  云计算给数据仓库带来新的启示

目前数据仓库发展的障碍之一是用户无法方便地搭建个性化数据分析环境，从而减弱了用户理解和使用数据仓库的热情。云计算技术很好地解决了这一问题，可按需定制资源、易于扩展的特点将使数据仓库变为一种服务（DaaS）。用户不但能方便的访问数据仓库数据，而且可以根据业务分析特点选用“云计算”中丰富的BI工具，使数据分析更加高效，有巨大的发展潜力。

三、      未来两年数据仓库发展展望

大型数据仓库的数据量已经达到了一个颠覆传统信息管理方式的阶段，因此，数据仓库将从传统的信息存储平台转向分析管理平台，换句话说，数据仓库的存储和访问将转变为交付和理解，数据仓库的价值挖掘逐渐拉开帷幕。

数据仓库“理念”也正在发生变化，一方面从支持传统BI的信息库演化成为支持运营分析、企业管理等新应用的分析基础架构；另一方面，数据仓库的ETL工作负载中会逐渐增加在线事务处理（OLTP），数据加载和供给会接近实时。

数据仓库产品将演变成一种可以解决新的信息类型和信息资产的平台，这将促使新的技术产生（如操作型商业智能），以便支持更加灵活的数据管理、查询分析以及任务集成。

正如Gartner宣称的，数据仓库未来两年将迎来它自问世后最重要的一个转折点。

   中国金融电脑 2011第05期