导读

Amazon EC2提供了多种实例类型，针对不同的使用场景进行了优化，包括AI/ML工作负载。参加本次会议，了解如何在考虑可持续性和成本等因素的同时，最大化提升AI/ML工作负载的性能。直接听取客户分享，他们如何借助亚马逊云科技工具和解决方案加速AI/ML创新。离开时，您将具备探索如何使用由亚马逊云科技 Graviton、加速计算实例和Amazon EC2 Spot实例提供支持的服务来优化AI/ML解决方案的能力。

演讲精华

以下是小编为您整理的本次演讲的精华。

在充满活力的拉斯维加斯市中心，亚马逊云科技 re:Invent 2024大会激发了无限热情，吸引了来自世界各地的开发者、工程师和科技爱好者。在众多富有洞见的会议中，有一场关于AI和ML工作负载优化的创新探讨引人入胜，以其深度和实际应用吸引了观众的目光。

演讲者Jeff登台时，生动地强调了在高效运行AI/ML工作负载时选择合适工具的重要性。他将亚马逊云科技云比作一个装备精良的工具间，里面汇集了广泛深入的AI/ML服务和基础设施组合，满足了从经典ML到生成式AI的各种工作负载需求，涵盖不同的模型规模、数据类型和业务目标。他用锤子的比喻警示，将所有问题都视为钉子的做法可能会错失优化效率的机会，需要采取更加细致入微的方法，而不是仅仅依赖单一工具来应对所有工作负载。

Jeff随后深入探讨了AI/ML管道的复杂性，引导观众了解数据摄取和准备、模型训练、性能评估以及最终部署推理的精细步骤。他强调了软件在这个管道中的关键作用，从数据摄取和准备工具到数据分析和优化数学库，都为训练和推理工作负载奠定了基础。在此基础之上，Jeff强调了一个计算连续体，从强大的CPU到专门设计的加速器，如Amazon Trainium和Inferentia，他形容这些加速器为“令人惊叹的技术”。

讨论的核心是亚马逊云科技 Graviton，亚马逊的通用CPU，这是优化AI/ML工作负载价格/性能比的关键组成部分。Jeff展示了亚马逊云科技广泛的硅片选择，包括Graviton、用于推理的Amazon Inferentia和用于训练的Amazon Trainium，以及来自英特尔、AMD、NVIDIA和高通等知名合作伙伴的选择。观众被Graviton在过去四代中取得的惊人性能提升所吸引。Graviton 3比前代Graviton 2提升了25%，而Graviton 4则比Graviton 3提升了高达30%的性能，优化AI/ML工作负载的潜力变得越来越明显。

Jeff接着深入探讨了由Graviton 3和Graviton 4驱动的实例，这些实例精心设计以满足AI/ML工作负载的苛刻要求。他概述了在Graviton实例上针对ML框架和库进行的软件优化，强调了对各种硬件功能的支持，如矢量处理引擎、矩阵乘累加指令和bfloat16等本地数据类型，后者可通过减少对内存带宽和缓存的压力提供高达2倍的性能提升。

会议进入了一个引人入胜的环节，Jeff展示了对流行框架如PyTorch、JAX和LLamaC++所做的优化，这些优化带来了1.5倍至3.5倍的性能提升。观众惊叹于这些优化为AI/ML工作负载带来的效率和成本节约潜力。Jeff强调，PyTorch凭借新的torch compile功能实现了2倍的性能提升，而从PyTorch 1.13到2.0版本的集体贡献则带来了惊人的3.5倍性能提升。

此外，Jeff强调Graviton 4在这些软件优化的基础上进一步提升了15%到28%的性能，超越了在Graviton 3上取得的成果。观众被这种可以叠加的性能提升所吸引，这为提高效率和降低成本开辟了新的领域。

Jeff的同事Shang Tsai随后上台讨论生成式AI推理工作负载，重点关注下一个标记生成、向量数据库以及数据摄取和准备挑战。Shang Tsai娴熟地展示了在Graviton实例上使用LLaMa模型进行文本生成时取得的性能提升。他演示了一个案例，其中70亿参数的LLaMa模型在Graviton 4上实现了每秒70个标记的生成速度，比前代Graviton 3提升了55%。

Shang Tsai进一步强调，Graviton 4能够在单个实例上成功部署计算密集型的700亿参数LLaMa模型，实现略快于人类可读速度的每秒10个标记的生成速度，满足了约100毫秒的下一个标记生成延迟服务级别协议。

Shang Tsai接着探讨了在生成式AI世界中，向量数据库对于检索增强生成的重要性。他解释了Graviton实例如何通过改进的DRAM、增加的通道和每核增强的L2缓存，优化了更快的向量检索和比较操作。Shang Tsai强调，在Graviton 3上运行支持PG向量的Aurora RDS等向量数据库时，在高维浮点计算和高并发方面比Graviton 2提升了60%的性能。

接下来，来自Anthropic的Nova分享了他们在数据处理管道中使用Graviton实例的真实经验。Nova的见解揭示了Graviton提供的经济高效的可扩展性和改善的可持续性，使Anthropic能够更高效地处理PB级数据集。他回顾了去年Anthropic如何在大量I4实例上仅用4天56分钟就完成了PB级数据去重运行。今年，他们已经扩展到200PB的数据集，同时缩短了总处理时间，部分原因是使用了更强大的第八代Graviton实例。

Nova生动地讲述了他们为充分利用Graviton的能力而实施的优化和工作流程调整。他分享了Anthropic如何从基于docker的构建过程转向基于nix的方法，使他们能够为整个工作流程编译利用系统架构优化。这一转变，加上对JAX等框架的软件更新和特定于架构的节点选择器，使Anthropic能够释放Graviton实例的全部潜力。

观众聚精会神地聆听Nova讲述他们所面临的挑战和创新解决方案，这为Graviton如何彻底改变数据处理管道提供了一个生动的例证。他强调了所取得的显著性能提升，如在Rust代码中针对Neoverse N1架构实现了20%的加速，以及在部署了亚马逊云科技 LCRS等优化(如矢量化TLS支持)后，吞吐量达到每分钟2.8PB的处理速度。

Nova还分享了Anthropic在内存密集型工作负载(如Apache Spark)中使用Graviton实例的经验，利用r6g.48xlarge实例进行大数据shuffle，并从透明大页表分配所带来的改善内存带宽和减少页表遍历中获益。

会议临近尾声时，Jeff总结了采用亚马逊云科技 Graviton用于AI/ML工作负载的令人信服的理由，包括广泛的实例类型和区域可用性、广泛的ML框架支持、简化的ML集成以及优化的价格/性能比。他就何时利用CPU处理各种AI/ML任务(如在单个Graviton节点上生成高达700亿参数的生成式AI文本、数据摄取和准备、用于检索增强生成的向量数据库，以及自然语言处理、分类、排序和聚类等经典ML工作负载)提供了指导，为观众绘制了通往成功的路线图。

在最后的号召中，Jeff鼓励与会者评估自己的AI/ML管道，审视工作负载，并考虑在哪些地方Graviton实例可能提升价格/性能比。他强调，在亚马逊云科技云中进行实验和评估非常简单，只需几次点击即可启动Graviton实例，评估其是否适合特定用例，从而可能实现显著的成本节约和性能提升。

会议结束时，观众爆发出热烈的掌声，他们的思维被新获得的知识和灵感所充实。利用亚马逊云科技 Graviton实例优化AI和ML工作负载的潜力已经展现无遗，未来的道路也变得清晰起来——拥抱创新，勇于实验，利用云的力量开启效率和性能的新领域。AI和ML工作负载优化的未来已经来临，创新和发现的新时代已经拉开序幕。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。