ITPub博客

首页 > 架构设计 > 基础设施 > 揭秘阿里云EB级大数据计算引擎MaxCompute

揭秘阿里云EB级大数据计算引擎MaxCompute

原创 基础设施 作者:暖忆 时间:2018-12-06 16:58:12 0 删除 编辑

日前, 全球权威咨询与服务机构 Forrester发布 The Forrester WaveTM: Cloud Data Warehouse, Q4 2018》报告 。这是 Forrester Wave 首次发布关于云数仓解决方案( Cloud Data Warehouse ,简称 CDW )的测评。报告对云数仓的当前产品功能、产品路线和发展策略、市场表现等几个方面进行全面的评估,在产品能力排行榜中,阿里云力压微软排行第 7

abb4093bf2dfa67c76529a81eb1be6ff5918dd88

Forrester 测评报告对 CDW 功能的评估主要从解决方案的多样性、数据集成、性能和弹性扩展、安全性等方面 进行 Forrester 给出的评价是:阿里云( MaxCompute+ DataWorks+ ADB )在广泛的基础设施之上提供了一个可靠的数据分析平台,能够满足客户实时和 EB 规模的数据处理需求。此前 媒体已经报道了 D ataWorks的相关细节, 今天我们 就来聊聊 M axCompute

EB级数据处理 能力

首先 来看一组数据

2018年双11,MaxCompute单日数据处理超过600PB,平稳支撑电商混布单元在线流量洪峰12万笔/s交易,稳定承载45%导购流量,为双11交易峰值提供了有力保障和平滑支撑。

根据 官方介绍, MaxCompute是一种快速、完全托管的数据仓库解决方案, 通俗 地理解 就是 大型分布式数据计算,所以大 规模 计算 最基础 能力。 MaxCompute已经是 阿里巴巴的主力计算平台,支持了整个阿里巴巴集团内部 99%的大数据存储和95%的计算,数据规模已达到EB级, 上文提到 11场景 就很好地体现了规模这能力。


cd9b821027b5658039e93652cbe0596512d78d08

当然, 它和 传统  Hadoop 相比还有其它 的优势 MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

整体来说 有如下特点:

 ●  MaxCompute 在计算引擎、分布式存储上做了优化,在 Sort Benchmark中MaxCompute 消耗的时间和成本都是最低,保证了最优性价比。

 ●   服务器资源、集群规模都是动态的弹性拓展,无需用户关心。

 ●   支持 SQL、MR、迭代计算、内存计算、图计算等计算模型。

a182a3970ecde72096aa37b9f634d9a582ecdf4d

经历 大规模 应用实践

据了解 目前 MaxCompute 正在 全球企业提供大数据计算能力 阿里巴巴通用计算平台负责人关涛 曾表示, “在公共云上,MaxCompute每年以250%的用户量和计算量在增长,并在全球十几个国家和地区部署服务,为当地企业提供计算力。”

例如,城市大脑的底层就在使用 MaxCompute做存储和大数据计算,支持了杭州、澳门、吉隆坡等城市进行智能化升级。这其中 MaxCompute、PAI、流计算服务组成 计算 平台 发挥了 巨大的价值

1

不仅如此 MaxCompute 各大行业已经有广泛应用

天气预测有着广泛的需求群体,每天几亿次的天气查询需求和近几十亿次的广告请求,  MaxCompute则 很好地 应对了 这一 挑战。 MaxCompute帮助墨迹天气实现了对每天上亿用户的天气查询需求的快速响应和几十亿次广告请求的精准投放。  互联网保险行业, MaxCompute帮助众安实现精准的用户画像分析,助力企业为数亿用户提供数十亿的保单服务,提升企业效率的同时,为亿万用户送去健康与安全。

总而言之 ,只要有 海量数据 处理 需求 的场景, MaxCompute都 能通过 阿里云为用户提供快速、稳定的计算能力。

结语

Forrester的本次研究报告可以看出,大数据技术已经进入CDW阶段,在广泛的基础设施之上提供一个可靠的数据分析平台,满足客户实时和大规模数据计算成为核心需求。

MaxCompute 作为大数据计算平台,不只是单一引擎,更是面向企业的完整服务。在过去 10 年中, MaxCompute 稳定支撑阿里集团所有数据业务的同时,早已将强大的数据能力普惠给广泛的云上企业。基于 MaxCompute 构建稳定、安全、可扩展及与应用系统高效交互的数据中台,已成为众多行业下客户数字转型的首选方案。



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/31545802/viewspace-2284423/,如需转载,请注明出处,否则将追究法律责任。

下一篇: UnixBench算分介绍
请登录后发表评论 登录
全部评论

注册时间:2018-07-13

  • 博文量
    382
  • 访问量
    124712