ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 云里雾里的数据库

云里雾里的数据库

原创 Linux操作系统 作者:tigerhsiao 时间:2011-01-07 11:41:06 0 删除 编辑
随着风起“云”涌,近几年已经浮现了一些非关系型,英文说法即 “non-relational, non-schematic” 的数据库,不少人被搞得云里雾里的。

Oracle 和 IBM,另外包括存储厂商如 EMC、Teradata、HDS等(广义来讲,还包括虚拟化厂商 VMWare、Citrix等),因为上述厂商技术扎根都在传统企业IT和数据存储市场,即基于多年来非常成熟、基于SQL关系型模型的 OLTP 交易型和 OLAP 分析性应用。所以这些传统IT厂商推广云计算的时候,更强调将自家产品用于企业内部云/私有云的场景,而非专用于亚马逊、Google、Joyant等收租的公共云IDC运营模式。

几年前 Google 和 Amazon 所雇用的大量计算机专业博士们,基于多年积累、未商品化的学术研究成果,带来了一些很不一样的数据处理手段,即一般统称的“非关系型”(或技术上不够精确的所谓“非SQL”)数据库(其中最火、最出名的是Apache Hadoop)。这些技术的的基本设计思路,在本质上,和上述传统技术有着很大的区别,他们的设计理念源于支持互联网行业并行计算,每天面对海量用户所产生的增量数据,所带来的现实数据压力,这些是传统企业IT技术架构无法在有限的经费内满足的(即便软件成本为零)。这些技术是基于以下条件所设计:
  • 没有任何单一存储能大到 1) 容纳得下整份数据,而且要 2) 能线性适应每天海量的数据增长速度 -- 现在这些用户量大的Web2.0公司的数据,如 facebook,是以 P (petabyte) 级、而非 T 级,也就是千倍于T,很快要到 exabyte 级(顺道一提,这是Oracle的一体机Exadata和Exalogic的命名意涵由来),也就是T级的百万倍。所以这类新数据库,在先天上都是分布式设计,自动分区,并且存储于最廉价的commodity商品型服务器的本地盘,而非光纤外联高价的专业存储设备(“commodity”一词的意涵,主要突出品牌的不重要性,如同商品期货市场中交易的石油、黄豆、大米等)。
  • 由于集群了大量的廉价commodity服务器硬件,稳定性和可靠性较低,硬件故障率 (MTBF) 变得比较频繁,因此这类新型数据库的设计,变成将硬件故障视为常态,而非异常。每笔数据在写的时候,别台硬件的磁盘上同时自动生成备份。
  • 交易型的应用,采用一种新的终极一致性 (eventual consistent) 的设计,而非传统 OLTP、两阶段提交这种立刻一致。亚马逊内部使用的 Dynamo (Apache Cassandra是外人基于他们发表的学术论文而开源实现的一个数据库),是这方面的领头羊。这类数据库比较适合对数据做反复更新,而不像 Hadoop,更适合一次写,多次读。
分析型的数据库和存储,基于上述设计前提,出现了一批有别于传统 OLAP+集中存储的架构,在公共云领域独领风骚的是 Google 的 MapReduce 架构(和实现它的开源 Apache Hadoop;因为 Google 不将自家技术开源分享,尽管带来了很多架构突破和创举,但同时也被不少人诟病;Google 自家的 BigTable 和开源项目 HyperTable 也是一样的关系)。这类数据库适合一次写(更新的效能很差,但只读操作很快,有点类似 LDAP 服务器的特性),和丰富的数据挖掘方式和工具、编程/脚本语言(如 Pig)。

云空间中另外还有一些类似 Oracle Coherence 内存数据网格, Berkeley DB等采用“键-值对”哈希的数据存储技术,和相关开源项目。

国外有篇文章,对各类云里的数据库,做了很扼要的分类和说明,挺不错的。

如此一来,那是否意味着,这些非关系型数据库,很快即将横扫市场整个IT市场,颠覆传统关系型数据库,如许多所谓no SQL运动支持者们鼓吹的那样?个人认为,在企业IT市场,基于传统企业级应用的技术,在未来多年后,仍会保持主流的地位,大多数企业的业务在数据存储、冗余、交易一致性等方面的要求和所面对的上下文,实际上和有着海量用户的互联网公司或运营商相比,仍是有相当大的区别的。更何况现有企业的投资、人才、管理过程、政策等,都还是围绕着传统企业应用和关系型数据库相关技术的。九十年代来势汹汹的面向对象数据库,并没有如许多专家们预测般,取代了关系型数据库(反倒是自己被融合了)。再举个例子,就算是一个专搞面向消费市场/互联网公共云的公司,尤其是上市公司,仍是需要 Oracle 或 SAP 的财务应用(例如苹果用的就是Oracle 的电子商务套件),而这些应用的背后,仍可能是Oracle数据库。


本文仅代表作者个人观点,与甲骨文公司无关。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/16186206/viewspace-683425/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2008-09-26

  • 博文量
    20
  • 访问量
    51652