ITPub博客

首页 > 数据治理 > 数据治理 > AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本

AI降成本利器!阿里云弹性加速计算实例来了,最高节省50%推理成本

原创 数据治理 作者:代码派就是我 时间:2020-10-14 10:29:06 0 删除 编辑

9989c5b90f96dedb20d3e717592eeed2c54bdb86.jpeg

人工智能推理场景下,EAIS.EI让用户可以自定义GPU算力规模。据介绍,该产品可节省最高达50%的推理业务成本,目前EAIS.EI实例支持Tensorflow、Pytorch等主流深度学习框架,最高支持FP32 19.5 TFlops、FP16 混合精度312 TFlops的运算。

发布会传送门

产品详情

无论你是在逛淘宝还是刷抖音,人工智能都在背后疯狂计算,短视频推荐、拍照AI美颜,就连点外卖,人工智能都在帮外卖小哥优化路线。

人工智能崛起的燃料之一,就是跟通用处理器CPU有着不同专长的GPU异构加速器。在计算能力方面,如果说CPU是通才,GPU就是专才,非常擅长深度学习和图像处理,因此在人工智能、直播和短视频火热的今天大放异彩。

然而,不同的深度学习应用所需要的CPU、GPU和内存等计算资源的比例并非完全一样,云服务器受限于规格,往往只有特定数个比例。在某些情况下,就会造成资源闲置,尤其在推理场景中尤为明显。深度学习应用分为训练和推理两个过程,推理计算需求由于跟业务量紧密相关,往往是总运营成本的大头,最高占到90%成本。

EAIS为客户提供了一个异构算力池,用户可以将需要的GPU资源附加到任何一款阿里云ECS服务器中,根据不同应用需求灵活优化CPU/内存与GPU之间的比例,匹配适合的资源组合,有效提升资源利用率。

另外,AI推理计算业务通常伴随着业务的周期性的峰谷变化,EAIS.EI实例配合弹性伸缩ESS快速感知业务变化,实现高效的业务运维,提升业务弹性。资源的精准组合加上云服务的弹性,将大大降低成本。

阿里云异构计算产品负责人透露,除了推理场景之外,未来,弹性加速计算实例还将覆盖图形图像与多媒体计算编码场景,甚至实现含光800与CPU/内存的解耦。

弹性加速计算实例,将与神龙AI加速器和cGPU容器技术,一起组成阿里云异构计算的三大特色优势,为用户提供灵活高效、性能超群的异构计算基础设施。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31550522/viewspace-2726757/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论
最新阿里云,新技术,新产品,以及相关活动介绍。

注册时间:2018-08-17

  • 博文量
    344
  • 访问量
    226258