关键字: [Inferentia and Trinium, Machine Learning Accelerators, Transformer Models, Large Language Models, Model Compilation, Memory Optimization]

本文字数: 400, 阅读完需: 2 分钟

导读

在这场演讲中, 来自亚马逊云科技的亨特· 卡莱尔阐述了亚马逊云科技如何通过专门设计的芯片, 诸如Inferentia 和Trinium, 实现了大型语言模型和生成式AI 模型高性能的训练和推理。他解释说,Inferentia 和Trinium 针对转换器模型( 如LLaMa 、GPT 和稳定扩散) 进行了优化, 使客户能够高效运行这些工作负载。该演讲重点介绍了亚马逊云科技的Inferentia 和Trinium 如何通过模型编译、量化以及与开源库( 如PyTorch 和Hugging Face) 的集成等功能, 实现了更快的性能、更低的成本以及基础模型的简化部署。

演讲精华

在Amazon Web Services AI 创新日活动中,Jasmine Kyles 和A.M. Grabelli 邀请了Amazon Web Services Anapheno Labs 服务团队成员Hunter Carlisle, 与众人分享亚马逊云科技在构建高性能生成式AI(GenAI) 基础模型方面的创新实践。

Hunter 首先回顾了亚马逊云科技在机器学习加速器领域的十余年发展历程。他指出, 早在2015 年至2016 年, 随着深度学习在计算机视觉领域的兴起, 亚马逊云科技开始关注客户在机器学习工作负载方面的计算需求。2018 年,Transformer 架构的出现为语言模型带来了突破性进展, 亚马逊云科技亦在2019 年推出了第一代机器学习加速器Inferentia 1, 支持当时主流的计算机视觉和Transformer 工作负载。

随着对更大模型的需求不断增长, 亚马逊云科技在2022 年推出了第二代加速器Tranium 和Inferentia 2, 专门针对Transformer 模型和新兴的视觉模型( 如扩散模型) 进行了优化, 使得大规模模型的训练和推理变得更加高效。Hunter 强调, 亚马逊云科技在研究和识别大型语言模型(LLM) 和生成式AI 模型的特定需求方面投入了大量精力, 以确保在性能和成本方面为客户带来最大收益。他表示, 许多客户希望将其机器学习工作负载, 特别是大规模深度学习工作负载迁移到亚马逊云科技的专用机器学习加速器Tranium 和Inferentia 上运行, 以获得加速效果。

接下来,Hunter 介绍了亚马逊云科技加速器对各种基础模型的支持情况。他表示,PyTorch 框架下的LLaMa 、GPT 系列模型( 如GPT-2 、GPT-Nox) 、Mistral 等语言模型, 以及TensorFlow 和Jax 框架, 都可以在亚马逊云科技加速器上获得良好的性能支持。他指出, 选择合适的模型大小和硬件资源非常重要, 需要根据模型参数量和可用内存进行匹配。以LLaMa 模型为例, 较小的8B 模型需要约15GB 内存才能加载, 而较大的LLaMa 3.1 405B 模型则需要高达800-900GB 内存, 通常需要采用分布式计算。对于超大模型, 亚马逊云科技支持量化等技术来节省内存使用, 如QLaura(Quantized LLaMA) 采用int8 或int4 等较小的数据类型来减少内存占用。

为了直观展示亚马逊云科技加速器的强大性能,Hunter 现场演示了在Inferentia 2 实例( 具有12 个设备、24 个神经元核心) 上运行Stable Diffusion 模型进行图像生成。Stable Diffusion 是一个由多个模型组成的管道, 需要分别对每个模型进行编译才能在亚马逊云科技硬件上高效运行。他通过输入” 一只做宇航员工作的海牛” 的提示,Stable Diffusion 在数秒钟内( 每次迭代约0.3 秒) 就生成了一张逼真的图像, 并展示了迭代次数( 如10 次迭代约2 秒、20 次迭代约5 秒、30 次迭代约8 秒) 对图像质量的影响。不同的随机种子会产生不同的最终图像。

Hunter 还介绍了Amazon Web Services Neuron SDK 和SageMaker JumpStart 等工具, 可以极大简化在亚马逊云科技加速器上部署模型的过程。亚马逊云科技与开源社区Hugging Face 密切合作, 开发了Optimum Neuron 工具, 只需几行代码即可快速启动和运行支持的模型。通过SageMaker JumpStart, 用户可以轻松搜索和启动亚马逊云科技预先准备好的模板, 快速上手各种模型的部署, 如LLaMa 等语言模型。

总的来说, 亚马逊云科技在GenAI 基础模型构建领域拥有卓越的技术实力, 不仅提供了专门优化的硬件加速器, 还持续优化软件工具和部署流程, 为企业和开发者提供了高性能、经济高效的解决方案。亚马逊云科技将继续致力于AI/ML 创新, 帮助客户释放数据的价值, 推动业务发展。

总结

亚马逊云科技一直走在开发专用机器学习加速器的前沿, 如Trinium 和Inferentia, 旨在优化大规模深度学习工作负载的性能并降低成本。这些芯片经历多年发展, 最初支持计算机视觉工作负载, 后来扩展到支持像LLM 这样的基于Transformer 的模型。Trinium 和Inferentia 2 专门为Transformer 模型和先进的计算机视觉任务( 如扩散模型) 而设计。

亚马逊云科技支持广泛的基础模型, 包括LLaMa 、GPT 家族、Mistral 等, 覆盖PyTorch 、TensorFlow 和Jax 等各种框架。选择合适的实例大小和量化等内存优化技术对于高效运行大型模型至关重要。它演示了稳定扩散(Stable Diffusion) 这一图像生成模型, 展示了该模型如何根据文本提示迭代改善图像质量。

亚马逊云科技与Hugging Face 合作, 通过Optimum Neuron 和SageMaker JumpStart 等工具简化了在Neuron 设备上编译和运行模型的过程。亚马逊云科技Neuron 文档提供了全面的资源, 帮助入门使用这些专用加速器并优化亚马逊云科技上的机器学习工作负载。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。