ITPub博客

首页 > 大数据 > Hadoop > Vmware大数据之道:从vHadoop到GemFire

Vmware大数据之道:从vHadoop到GemFire

Hadoop 作者:lilusan 时间:2014-01-13 01:59:43 0 删除 编辑

当云计算遇上大数据,如何在虚拟环境中获取大数据的价值,是企业必须面对的问题。VMware给出了他们的答案:在统一的vSphere云架构之上,提供GemFire实时处理、GreenPlum交互处理及Hadoop批处理三种模式,满足用户的海量、快速及灵活的大数据处理需求,并为开发者、数据分析师、数据科学家和商务用户提供数据分析及可视化的数据展示。

与IBM、EMC、富士通、Intel等先后推出Hadoop发行版不同,Vmware更专注于基础架构层面。在一场2000余人到场的VMware & EMC大数据云高峰论坛上,VMware公司大中华区总裁宋家瑜表示,云的平台才是唯一能解决爆炸性大数据使用的需求,把关键应用移到云平台已经是一个必然趋势。

Vmware之道:从vHadoop到GemFire

在介绍数据管理技术《从数据库到数据云 虚拟化与开源搭桥》五大趋势之后,VMware全球高级副总裁范承工表示,传统数据库技术hold不住一些这样的应用:海量数据的需求,实时数据的需求,和灵活数据的需求。Vmware和EMC一道,致力于在vsphere云平台之上提供面向这些应用的整体解决方案。

Hadoop由于其低成本和高扩展性的优势,成为各大厂商处理海量数据的法宝,但虚拟基础架构云上的Hadoop,存在可靠性问题。根据阿帕奇Virtual Hadoop wiki文档给出的结论,可以将Hadoop带到云基础架构上,但物理和虚拟基础设施之间的差异可能危及数据完整性和安全性。

现在,VMware开源项目Serengeti试图改变这个问题。该项目将允许企业在云端和虚拟环境中,在 vSphere 上部署和管理Hadoop。

范承工介绍,Serengeti将Hadoop在虚拟基础架构的部署时间从很多天缩短到10分钟,同时还能够提高硬件的利用率,能够满足多租户的需求,有更好的安全隔离,也有更好的伸缩性。Vmware还介绍,通过 vSphere,Hadoop应用如果节点失败能够自动重启。

VMware试图在统一的vSphere云架构之上,提供GemFire实时处理、GreenPlum交互处理及Hadoop批处理三种模式,满足用户的海量、快速及灵活的大数据处理需求,并为开发者、数据分析师、数据科学家和商务用户提供数据分析及可视化的数据展示。

Vmware还做了一个UAP(Universal Analytics Platform)的大数据分析平台,其中包括Greenplum database、Hadoop和Chorus分享软件,这个平台可以帮助客户同时分析处理结构化和非结构化的数据。

通过Chorus系统,数据科学家可以自助的建立图形工作区,搜索和获取这些企业当中的数据。接下来建立数据分析沙箱,也不会影响别人,当他有新的发现之后,又可以把他的发现贡献给其他的数据科学家进行不断的改进。

云端大数据分析工具Cetas,该产品来源于Vmware收购的一家提供在Hadoop平台之上的分析服务的公司,提供实时分析的能力,可以对市场的变化做出快速反应。Cetas通过公共云提供服务,易于部署,内建高效的分析算法,且简单易用,非常容易的能够把数据上传到云里面,可以提供一个可视性的图表,对数据进行很好的展示。这也意味着,无需专业的数据科学家和统计科学家就可以进行商业分析。

在满足快速需求上,Vmware有GemFire和SQLFire,他们都是内存为主导的数据库形式,可以实时地对数据的反应。在灵活上,Vmware提供了Object的GemFire的方式,为关系型数据库提供选择。

身兼两职的GemFire,其实并非传统的内存数据库,而是横向扩展的分散式的数据库,可以和现有的数据库共存,把它的优点发挥出来。它有很多平行的算法,可以应对OLTP,OLAP数据分析等等。

由此看来,Vmware通过并购与研发,提供了包括虚拟服务器层、应用平台层、以及应用之上的数据层的技术。同时,这几种技术也可以一起使用,以满足用户所有的应用需求。因此,说整体的大数据解决方案是恰如其分。

值得一提的是,Hadoop、GreenPlum和GemFire等大数据产品线,都是Vmware和EMC两岸三地几百个工程师的研发成果。这也意味着,这些大数据解决方案非常适合中国的企业应用

<!-- 正文结束 -->

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/23240356/viewspace-1119836/,如需转载,请注明出处,否则将追究法律责任。

上一篇: 没有了~
下一篇: 没有了~
请登录后发表评论 登录
全部评论

注册时间:2010-01-25