关键字: [ 亚马逊云科技中国峰会2024, Inferentia, 自研Ai 芯片, 推理训练, 大语言模型, 芯片设计, 算力性能]

本文字数: 2200, 阅读完需: 11 分钟

导读

张铮先生在亚马逊云科技中国峰会2024 上介绍了亚马逊云科技自研AI 芯片的背景、特点和应用场景。他解释了亚马逊云科技推出自研AI 芯片的原因, 包括内部业务需求和客户关注的可移植性、易用性和性价比。他介绍了亚马逊云科技目前有三款自研AI 芯片:Inferentia 推理芯片第一代和第二代, 以及Trn1 训练芯片。这些芯片在算力、带宽等方面具有优异表现, 并支持主流的大语言模型和多模态模型。亚马逊云科技还提供了Neuron SDK 等软件工具, 方便用户使用自研芯片。最后, 伟漾公司的刘志悦先生分享了他们使用亚马逊云科技Inferentia 芯片的实际应用案例, 展示了自研芯片在成本和性能方面的优势。

演讲精华

以下是小编为您整理的本次演讲的精华，共1900 字，阅读时间大约是10 分钟。

亚马逊云科技(Amazon Web Services, 亚马逊云科技) 自研AI 芯片的背景源于2017 年Transformer 模型的兴起。随着大语言模型和扩散模型等AI 模型在亚马逊内部的广告、搜索、Alexa 等业务部门中的应用日益增多, 对AI 芯片的需求与日俱增。 然而, 过去几年GPU 的供应量和算力完全无法满足亚马逊的需求。同时, 亚马逊云科技内部有数以千计的外部客户, 在与客户交流时也发现客户非常关注三个方面: 芯片的可移植性、易用性和性价比。

基于内部需求和外部客户反馈, 亚马逊云科技决定自研AI 芯片。经过约八年的发展, 包括新集成电路设计、晶圆设计、测试、量产、硬件组装上架和推广等过程, 亚马逊云科技已经推出了三款自研AI 加速芯片。

第一款是Inferentia 第一代推理芯片, 于2018 年左右问世, 适用于当时主流的卷积神经网络、RNN 、LSTM 等传统模型。第二款是2023 年推出的Inferentia2 第二代推理芯片, 完全基于Transformer 架构, 非常适合拉马系列、Meta AI 的Bloom 、以及其他大型Transformer 语言模型的推理任务。 在亚马逊云科技中国峰会的展区, 参会者可以体验一些语言模型和图像模型在Inferentia2 芯片上的表现, 并进行Demo 和尝试。第三款是2022 年推出的Trn1 训练芯片, 其特点是适合千亿模型的预训练和微调, 如1T 大模型, 在大模型训练方面表现出色。

截至目前, 这三款自研AI 芯片已经在亚马逊云科技全球33 个区域中的23 个区域可用, 包括中国的北京区域。如此广泛的覆盖范围反映了全球用户对亚马逊云科技自研芯片的高度认可。

讲到训练芯片Trn1, 用户可能会关注几个关键指标。首先是算力,Trn1 芯片单机的最大算力可以达到3PF(3 Peta FLOPS), 这一数据可与其他厂商的产品进行对比。其次是片间带宽,Trn1 采用NVLink 技术, 片间带宽能达到768GB/s, 性能非常出色。第三是基间带宽, 对于Trn1 训练实例, 其基间带宽可以达到1600GB/s 。这几个参数对于评估和优化大模型训练的算力性能至关重要。

对于Inferentia2 第二代推理芯片, 它也有自己的一些基础指标。最大的一个实例可以配备384GB 加速器内存, 由12 个32GB 加速器组成。因此, 在Inferentia2 上就可以完整推理175 亿参数的GPT 大语言模型。此外, 像LamaCPU 、LamaMOE 、Megatron-Turing NLG 8B 、Mixture of Experts 7B 等热门大型语言模型, 在Inferentia2 芯片上都可以获得非常完美的推理性能。

硬件的性能固然重要, 但软件的支持同样关键, 因为软件是驱动硬件、让硬件发挥最大效能的纽带。 对于亚马逊云科技自研AI 芯片, 它提供了Neuron SDK 作为软件开发环境。Neuron SDK 在亚马逊云科技的EC2 实例上已经预装, 比如Deep Learning AMI 。当然, 用户也可以按照提供的脚本在自己的EC2 实例上安装该SDK 。

在机器学习框架的支持方面,Neuron SDK 目前支持PyTorch 、TensorFlow, 未来也将支持流行的JAX 框架。由于很多开发人员基于HuggingFace Transformers 库进行模型推理和训练, 因此亚马逊云科技与HuggingFace 进行了深度合作。通过一个名为OptimNeuron 的项目, 用户可以直接加载HuggingFace 上的预训练模型, 并在亚马逊云科技自研芯片上进行推理, 操作非常方便, 只需加载模型然后调用推理函数即可。

与在GPU 上推理相比, 在亚马逊云科技自研芯片上推理会多出一个编译步骤。首先需要将预训练好的模型编译, 并保存为亚马逊云科技自研芯片可识别的AFF 格式。编译后的模型已经被预先放置在HuggingFace 的存储空间中, 用户可以直接加载这些模型进行推理, 无需重复编译, 使用体验非常顺畅。除了编译步骤, 其他步骤如准备输入数据、调用推理函数等与在GPU 上基本相同。由于高度封装, 用户只需少量代码改动即可将工作负载适配到亚马逊云科技自研芯片上, 无需了解底层细节, 使用起来非常友好。

亚马逊云科技自研芯片的生态系统也非常完善, 包括监控、调试等一整套成熟的体系。这些芯片可以运行在容器、EC2 实例、EKS(Elastic Kubernetes Service) 、SageMaker 等多种环境中。对于训练和推理工程师而言, 有时需要定义自己的算子(Kernel 函数), 而这些算子可能之前在GPU 上没有支持。为此,Neuron SDK 开放了Kernel 接口, 允许开发人员通过C++ 接口定义自己的Kernel 函数, 并适配到亚马逊云科技自研芯片上, 从而支持特殊的算子需求。

除了数据并行,Neuron SDK 还支持Pipeline 并行和Model 并行。用户只需通过一行代码指定相应的参数, 就可以将大型模型分割到多张芯片上进行并行计算, 实现更高效的模型训练和推理。

在模型支持方面, 亚马逊云科技自研芯片已经能够覆盖绝大多数主流模型。对于Transformer 类模型, 支持情况可以分为三类:Encoder 类模型如BERT 、AlBERT 等; 纯Decoder 类模型如GPT 系列、Bloom 、LLaMa 1/2/3(7B/8B/30B/70B) 、MT NLG 、Mixture of Experts 等; 以及Encoder-Decoder 类模型如T5 、FluentT5 等翻译模型。所有这些模型在亚马逊云科技自研芯片上都可以获得良好的支持和性能表现。

对于一些特殊的模型, 如微调模型(Stable Diffusion 2.1/5/XL+Refiner 等) 和多模态模型(ViT 、CLIP 、BLIP 等), 在亚马逊云科技自研芯片上运行时也能获得非常不错的性价比。至于传统的视觉模型如YOLO 、ResNet 等, 在这些芯片上的支持自然也是非常出色的。 据测试, 约93% 的HuggingFace 前100 模型可以直接在亚马逊云科技自研芯片上运行。在峰会展区, 参会者可以体验基于这些芯片的图像/ 语音生成Demo, 扫描二维码后可以快速搭建环境、下载预编译模型、定义推理容器, 并通过开源的ChatUI 工具加载模型进行对话交互。

对于训练任务, 亚马逊云科技提供了两种方式: 预训练大语言模型, 或者FineTune( 微调) 。无论是预训练还是微调, 整个过程主要包括三个步骤: 如果用户有兴趣在工作中FineTune 拉马模型或其他大型语言模型, 可以与亚马逊云科技团队联系, 他们会提供便利的支持。

在过去几年的发展过程中, 亚马逊云科技在各个行业积累了大量使用自研AI 芯片的客户案例。视频制作公司伟漾(Vyond) 就是其中一个典型案例。伟漾是一家总部位于美国湾区的公司, 在香港和台北也有工程团队, 主要为北美企业客户提供动画视频制作服务。

2022 年, 伟漾开发了一款基于提示词生成视频的AI 产品” 伟漾购”(Beyond Go) 。这款产品允许用户输入主题或现有内容, 选择风格、布局和场景, 就可以快速生成一段视频, 并可以在伟漾的工作室中进一步编辑和调整。在产品界面上, 用户还可以输入英文单词, 系统会自动生成相应的图像素材, 非常方便。

在开发这款AI 产品的过程中, 伟漾遇到了两个主要问题: 易用性和性价比。他们原本在传统的C6i 或C6a EC2 实例上运行非AI 服务, 一旦切换到GPU 实例开发AI 特性, 成本就会增加5-10 倍。经过与亚马逊云科技团队的多次交流, 伟漾被推荐尝试使用Inferentia 芯片。从Inferentia One 到Inferentia Two, 伟漾都进行了尝试, 发现使用这些芯片不仅成本可以节省20%-30%, 响应时间也有明显提升。

伟漾的AI 团队在本地端使用GPU 进行模型训练, 而在生产环境中使用Inferentia 芯片进行推理。从训练到生产环境的整个部署过程非常顺畅, 因为只需调用Neuron SDK, 工程师就可以少量代码改动将GPU 工作负载迁移到Inferentia 芯片上。在监控方面, 伟漾使用Prometheus 与Neuron SDK 进行了无缝集成。总的来说, 将实例类型从GPU 切换到Inferentia 芯片是一个非常容易的过程。

伟漾公司的工程师也亲临现场, 对于使用Inferentia 芯片的具体经验, 现场观众可以当面向他们咨询和交流。

通过张铮先生和刘志悦先生的双重分享, 我们可以看到亚马逊云科技自研AI 芯片在推理和训练两个领域都展现出了卓越的性能。无论是大型语言模型、多模态AI 任务, 还是视觉等传统AI 任务, 这些芯片都能为用户提供高性能、高性价比的计算能力。通过与主流AI 框架和工具的深度集成, 以及高度封装和完善的软件生态, 亚马逊云科技自研芯片的使用体验也获得了极大的优化和增强。我们有理由相信, 未来这些自研芯片将在更多场景下展现其独特的实力, 为人工智能的发展贡献更多动能。

下面是一些演讲现场的精彩瞬间：

亚马逊云科技中国峰会2024 上, 演讲者解释了AI 芯片的两大核心功能: 训练和推理。

亚马逊云科技工程师介绍了公司自研AI 芯片的背景、功能特点、软件开发环境以及使用场景。

亚马逊云科技中国峰会2024: 亚马逊开放Kernel 接口, 支持自定义算子在其芯片上运行, 助力AI 算法创新。

亚马逊云科技展示了与HuggingFace 合作的OptimNeuron 项目,93% 的前100 个模型可直接在自研芯片上运行, 并提供了图声纹Demo 供现场体验。

亚马逊云科技推出了一款名为”Beyond Go” 的AI 视频创作工具, 可以轻松快速地将想法转化为脚本和视频。

亚马逊云科技中国峰会2024: 工程师无需大幅改动架构, 只需调用Neuron SDK 并修改几行代码, 即可轻松将模型从GPU 迁移到Inferentia 芯片上进行推理部署。

总结

亚马逊云科技自研AI 芯片推动了人工智能技术的发展, 为客户提供了高性能、高性价比的解决方案。这些芯片专门设计用于AI 训练和推理, 能够高效运行大型语言模型和多模态模型。亚马逊云科技已推出三款自研AI 芯片:Inferentia 推理芯片、Inferentia2 推理芯片和Trn1 训练芯片, 具有出色的算力、带宽和内存等性能指标。通过Neuron SDK 软件开发工具包, 客户可以轻松部署和优化模型在这些芯片上运行, 提高了易用性。此外, 亚马逊云科技与HuggingFace 合作的OptimNeuron 项目, 使大多数HuggingFace 模型可直接在自研芯片上运行。客户案例展示了自研芯片在成本和性能方面的优势, 为企业提供了高效的人工智能解决方案。

亚马逊云科技自研AI 芯片的发展充分体现了公司在人工智能领域的创新能力和对客户需求的重视。通过持续投入和技术创新, 亚马逊云科技将继续为客户提供领先的AI 产品和服务, 推动人工智能技术的发展和应用。

2024 年 5 月 29 日，亚马逊云科技中国峰会在上海召开。峰会期间，亚马逊全球副总裁、亚马逊云科技大中华区总裁储瑞松全面阐述了亚马逊云科技如何利用在算力、模型、以及应用层面丰富的产品和服务，成为企业构建和应用生成式 AI 的首选。此外，活动还详细介绍了亚马逊云科技秉承客户至尚的原则，通过与本地合作伙伴一起支持行业客户数字化转型和创新，提供安全、稳定、可信赖的服务，以及持续深耕本地、链接全球，助力客户在中国和全球化发展的道路上取得成功。