ITPub博客

首页 > Linux操作系统 > Linux操作系统 > 建设自动化的绿色数据中心

建设自动化的绿色数据中心

原创 Linux操作系统 作者:Java_simon 时间:2009-06-16 10:47:25 0 删除 编辑

过去,我们企业内部虽然建设有数据中心,但是数据中心内部的IT架构建设往往是由任务、项目被动驱动的,导致我们的架构显得复杂、凌乱,不仅给我们自己的维护管理带来了许多没必要的麻烦,也制约了我们现在和未来的建设发展。

今天,当数据中心的主动建设越来越清晰地成为我们IT建设任务时,我们需要静下心来好好分析一下数据中心建设的各种需求,并描绘出数据中心的发展蓝图,从而为我们未来的工作制定方向。在这里可能会受因历史原因而存在的众多老设备的干扰,从而需要考虑利旧的因素; 但要保持清晰的发展战略和方向,使得我们能够不迷失于这种原有利益的平衡当中。按照建设蓝图发展,历史的利旧因素终将会消弭于未来,而全新的、高生产力的、具备前瞻性的、高度灵活扩展的新数据中心,将为在日益激烈的市场竞争环境下企业的发展保驾护航。

因此,我们需要为数据中心的建设建模。单一任务的数据中心建设是简单的,我们在这里需要考虑的是复杂任务的数据中心建设。为了保证数据中心的简约性,我们就需要为此对任务进行抽象,并进行普适化的处理。

通常对任务的数据都可以分解成几个我们需要考虑的要素: 一是数据的类型,包括结构化数据、半结构化数据和非结构化数据; 二是数据管理的内容,包括访问控制和安全、配置调整、备份、容灾、归档、法规遵从等; 三是数据是否存在交换共享的需要,包括同一业务流程上的和不同业务处理域间的交换共享。

数据中心的构建要满足性能需求是基本的要求。不过要谨防陷入伪性能的虚假需求里,比如目前许多厂商提供的Cache读写性能、内部链路带宽等,有许多是和现实情况及实际要求有着巨大出入的。在这里企业应利用实际的业务系统对不同厂商的产品进行评测,同时积累企业实际的性能历史参数。盲目地追求伪性能指标和硬件指标会使我们数据中心的建设迷失在性能这一片叶子上。在满足性能的前提下,我们需要对不同的数据类型在不同的存储架构下实现不同的数据管理功能进行详尽的分析比较,并充分考虑业务流程的要求,以达到“管理简便、安全可靠、灵活扩展、经济实惠”的建设目的。一个现代化的数据中心将是一个“自动化的绿色数据中心”。
支持NAS+SAN+iSAN

数据的类型通常有三类: 结构化数据、半结构化数据、非结构化数据。这些数据的类型其实体现了IT架构的需要。

结构化数据(如数据库)和半结构化数据(如邮件)通常需要服务器对数据的内容进行解析才能为用户所理解,因此对数据的访问必然需要通过有限的服务器来进行。这种模型下的数据访问可以采用NAS/SAN/iSAN多种架构。这取决于用户对于性能、扩展性、宕机影响、个人偏好等诸多因素的看法。比如说,同一个厂家的SAN和NAS比较(注: 不同厂家的产品不具可比性),在数据库环境下,SAN的性能更高一些,但是采用NAS会具备更好的扩展性; 并且,即使存储系统临时重起,前端数据库也会继续保持,而不会像SAN/iSAN一样挂机,从而导致业务中断。所以,在性能满足需求的前提下,采用何种存储架构就成了个人偏好的问题了。

非结构化数据(如各种类型的文档、图片等)由于是在客户机上直接进行解码访问,因此采用NAS是最优的选择。可以说,这已经成了现代数据中心建设中的不二选择。当然我们也可以采用文件服务器加上SAN/iSAN存储,或者直接利用数据库服务器的计算资源来实现,但是这样的通用产品组合与专用的NAS相比有相当的差距。

所以,我们需要搭建一个既支持结构化、半结构化数据的存储,也能够支持非结构化数据的存储平台,因为我们对未来上什么业务、业务需要什么类型的数据、不同数据类型的数据比例是多少并不清楚。一个任务可能是结构化数据,也可能是非结构化数据; 更多的是两者都有,只是根据业务的不同,导致不同类型的数据比重不同。比如说,OLTP的营账数据库系统,结构化数据占绝大部分,但是数据库的LOG、执行文件则主要以非结构化数据的类型存在; 企业文档管理EDM系统就主要以非结构化数据为主,而索引数据库仅占10%。

同时,考虑到业务生命周期(研发、测试、割接、生产、维护、升级)的流程阶段,我们可能希望生产系统采用NAS+SAN,而研发系统采用NAS+iSAN,以达到成本控制的要求。因此为了未来良好的业务可扩展性,一款能够同时支持NAS+SAN+iSAN的存储成为了我们数据中心IT存储架构建设的关键。这样的统一存储平台不仅仅由于产品的一致而降低管理难度、减少管理成本,同时由于在同一产品上能够灵活地支持不同的架构,同时满足不同的应用,使未来的扩展变得异常灵便。

而且,单一存储能够同时支持SAN+iSAN+NAS的模型,也有利于实现“绿色数据中心”。需要采用NAS网关和iSCSI网关的支持才能实现多种存储模式共存,但完成不同数据类型的数据存储访问要求更多的设备,从而消耗更多的电能。
本地恢复至关重要

备份的根本目的是为了恢复,恢复包括本机恢复和跨机恢复。最快捷的恢复莫过于本机恢复。任何跨机恢复的解决方法,从速度上都远不如本机恢复。由于备份是数据保护中非常关键的一环,可以说虽然备份主要应对逻辑灾难,但是却能够承前启后地用于硬件故障和环境灾难当中。因此在数据中心建设中,我们需要把本机恢复放在一个非常重要的位置,成为一个必要条件。

采用本机恢复的备份手段通常就是快照,实现方式有三种: 慢吞吞、耗空间的全拷贝模型; 先甜后苦、爽过以后性能受严重影响的半拷贝模型; 前后一致、空间消耗最少的零拷贝模型。在考虑本机恢复时,存储方式的选择首先就是一定不能对性能造成严重影响,而且空间消耗也要最少。本机恢复的备份用途很多,如用于磁带备份、数据分析、升级保护等,这些备份能否被直接访问、能被谁(系统管理员、普通用户,还是两者皆可)访问也是考虑本机恢复的第二要素。

本机的时间点快速备份及恢复能力也有助于节能。由于可以用更快捷、迅速的方法来进行更多时间点的备份,原有的备份策略就可以降低要求,备份的次数就有可能减少; 而在恢复方面就更为明显,不仅可以恢复原来磁带备份方案中所没有的更近时间点的数据,而且甚至不用引入磁带库就可以完成恢复,也不用花费很长的时间来恢复。这些都对节能有一定的效果。

提高非对称容灾的能力

数据中心建设蓝图中必不可少的一环是考虑现在或未来容灾的要求。为了能够满足容灾的可扩展性,要求建设时考察存储产品的非对称容灾能力,而不是建设完成后再寻求弥补方案。

非对称容灾实现的是在不同档次的存储产品间(高中低)、不同类型的磁盘介质间(FC和SATA)实现动态选择,全部或部分数据进行一对多、多对一、多对多及串联复制的能力。非对称容灾能力的存在提供了对未来业务数据进行容灾支持的灵活性,从而方便了对目前数据中心建设的选型决定。

许多时候,企业之所以采用同样(或相似)设备实现对称容灾,其实是受限于产品的制约。非对称容灾可谓是许多企业的真实需求,采用非对称容灾也可以达到绿色节能的目的: 生产中心采用低密度、小容量、高转速的FC磁盘,以保证性能; 容灾中心采用高密度、大容量、低转速的FC或SATA盘,来完成容灾要求。这样容灾中心将使用更少的设备,消耗的电能也更低。
增强数据交换共享的能力

数据交换共享的能力是业务流程流畅化并提高生产效率的关键。

许多业务之间是需要交换和/或共享数据的,上一个业务的输出是下一个业务的输入,甚至两业务之间需要进行双向的大量数据的交换。比如企业决策系统需要营账系统、计费系统对每天的数据进行数据挖掘,来实现企业智能化的决策,或者在银行系统中,从封闭大机下来的数据需要在若干开放平台上进行分析等。这种交换采用简单的通信协议在若干系统之间进行,会大大降低业务的生产效率,并可能引发其他问题和挑战,如性能、备份窗口不合适等。

通过分析不同数据类型进行数据交换的多种实现手段的优劣,我们能够得到这样的一个结果: 数据中心的存储平台应该具备针对非结构化数据提供NAS支持的数据交换共享能力,而对结构化数据和半结构化数据应该具备瞬时克隆功能来支持数据交换共享。非结构化数据在多种不同的平台间进行数据交换共享,通常可以采用比如FTP的方式来传递数据,或构建SAN的共享存储平台来解决面对的困难; 但所有的解决方案都不如NAS简单、直观、高效,因为NAS天然的不同平台间的文件级数据共享特性能够方便地提供数据交换的共享平台。

像数据库这样的结构化数据,如果能够瞬时克隆出一个可读可写的版本出来,并支持加载到另一主机系统上,那么就会既不影响原业务生产系统的服务,又能够获得最新的数据进行下一业务的工作,同时可以把多个业务分割在多个隔离的环境当中,既安全可靠,又简化了采购的难度和流程。这比把所有的业务集中在同一台主机设备上的方案能节约很多成本。
以最少的空间实现最大的利用

随着企业数据的不断暴涨,我们需要越来越多的空间; 而伴随着企业信息化和智能化的完善,业务系统的增加也会产生更多的空间需求。同一份数据既需要用于本来的业务,也需要用于分析统计、数据挖掘,还需要进行数据管理,比如备份、容灾、法规遵从等。如何做到用最少的空间达到最大的效用,不仅可以实现绿色节能,有利于设备投资上的成本控制,还会通过加快流程,提高生产率而实现管理成本的控制。

要想实现“最少空间最大效用”的目的,惟一方法是空间共享、动态占用、数据多用途。此方法包含数据管理的复杂内容,我们举例说明。

如果能够把空闲空间集中起来进行动态的占用和释放,那么所有的空闲空间就会被利用起来,对于空间的浪费就会少很多,从而降低物理容量的需求、降低采购成本,并实现绿色节能的目的; 如果某种方式需要生成多个物理拷贝,而另一种方式只需要逻辑拷贝,那么无论在生成拷贝的效率上,还是在空间的消耗上我们都可以得到后者更优的结论。再如,一份数据既需要备份,又需要容灾,还需要法规遵从,那么我们是为了每一个用途生成一个拷贝呢,还是“数据多用途”,同时满足多种应用呢?哪一种对成本的控制更有效呢?

在NetApp的创始人Dave Hitz的一篇博客文章里,描述了他对数据管理的先进理念。他认为,数据应该赋予管理属性,比如备份、容灾、法规遵从等。这样,同一份数据将满足多种不同的应用,而无需为了不同的应用分别保存多个版本拷贝,从而大量减少因为数据和业务的增长而带来的非线性的空间爆炸。

开放系统混合环境的VTL应用

在构建数据中心时,备份是不可忽视的一个环节。数据量的增加、业务服务时间的延长、服务水平承诺SLA的提高等诸多因素导致了我们面对一系列的问题。

由于利旧因素的存在,数据中心必然是开放系统混合环境的模型。要想无缝透明地改良这种环境,VTL是一个非常好的工具。不仅能够对备份恢复流程进行改良,加快备份恢复的速度,提高恢复的可靠性; 同时对于现存多种不同品牌带库的备份环境,我们可以实现共享,并利旧原有的许多小带库,简化相应的管理工作。

简便管理数据/存储

自动化的存储架构带来的是简便管理,但是考察管理的简便性需要细致到数据和存储管理的方方面面。简约数据中心会照顾到每个细节,是诸多方面的综合平衡,同时又相互补充和促进。就像白居易念诗给老婆婆听一样,如果数据中心的管理能够让相对初级的人员也能够完成,并且存储管理员不会成为系统管理员和数据库管理员,甚至普通用户的工作瓶颈,那么这样的存储平台管理就是足够简便的。

记住一个存储厂商的名字既可能因为产品够好,也可能是因为这产品给你添的乱够多; 同样,忘掉一个存储厂商的名字,既可能因为其产品不值一提,也可能因为这产品足够坚固、并且管理超级简便而忘记。

找一个真正管理数据和存储的系统管理员问问,这是从劳动阶层产生出来的真正专家。问问他们日常工作的内容、流程、时间等,我们就可以做出比较表格了。切记一点,形形色色的图形化界面其实并不是简便管理的根本,只有深入到设计灵魂深处的简便,才能造就真正简便管理的设备。
考虑数据中心的绿色指标

绿色的数据中心是一个节能的数据中心,但是建设绿色数据中心不只是因为要节能那么简单。设想这样的一个数据中心,因为业务的需要不断增加设备,因为数据管理的需求不断增加容量,设备的不断增加将会导致耗电增加,很快机房设计的电流、空间、承重等问题就会凸现,于是我们又要开始考虑新机房的建设,还有数据中心搬迁的问题。

如何从根本上解决这一问题,或者减少这一问题出现的可能性呢?这就是绿色数据中心的建设目的。简单地说,绿色数据中心的建设就要减少设备的需求数量。怎么达到这一目的呢?对于计算节点而言,一方面要提高单位空间的计算能力,另一方面要整合计算节点,做到一机多用,充分利用空闲的计算资源,从而节省计算节点的数量; 对于存储节点而言,就要从根本上减少存储空间的需求。只有减少了存储空间的需求,才能减少存储设备的数量,从而达到节能、少占用空间的目的。

怎样才能减少存储空间的需求呢?首先需要澄清的是,这并不是说“该保留的数据不要了”,数据没有了,我们还怎么开展业务呢?减少存储空间的需求有三种方法: 一是“一数多用”,一份数据拷贝应该有能力满足多种相关业务和数据管理的要求; 二是数据重复副本删除和压缩存储(重复副本删除可以说是“一数多用”在微观上的一种实现),也可以减少对空间的消耗,不过这两种技术只对某些类型的数据有很大的效果; 三是提高存储空间的利用率,剩余空间过多而无法有效利用同样影响节能和省空间的效果。这三种方法对于有效实现绿色目标的重要程度依次为: 一数多用、空间高利用率、重复副本删除和压缩存储。

建设统一的数据管理平台

现代企业的数据中心建设还需要考虑的一点就是利旧。受技术因素的制约,利旧是一个很复杂的问题。我们不要为了利旧而降低对数据管理的要求,降低对建立绿色数据中心的追求。毕竟任何利旧的设备在未来几年就会被折旧成为历史,因此不要为了芝麻而把西瓜丢掉。

利旧还需要考虑统一数据管理平台建设的需要。如果我们能够在技术上把利旧的设备并入新的绿色的统一数据管理平台内,那是最理想的; 如果不行,我们可以考虑在多层次的存储平台里给需要利旧的设备找一个位置,或者暂时先并存使用,寻找适当的时机再进行调整。

 

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/7699723/viewspace-606461/,如需转载,请注明出处,否则将追究法律责任。

下一篇: 渴望绿色电脑
请登录后发表评论 登录
全部评论

注册时间:2007-12-07

  • 博文量
    332
  • 访问量
    312343