导读

人工智能和机器学习应用需要广泛的基础技术。在本次会议中，您将了解AMD的推理和训练产品组合，这些产品为大小模型提供卓越的性能和性价比，并探索AMD广泛的软件和解决方案生态系统。此外，AMD的合作伙伴Neural Magic展示了DeepSparse CPU推理优化技术如何为高需求的推理驱动应用提供成本效益、优化性能和能源效率。本次演讲由亚马逊云科技合作伙伴AMD为您带来。

演讲精华

以下是小编为您整理的本次演讲的精华。

Mike Thompson首先强调了AMD无处不在的存在，支撑着包括社交媒体、流媒体、搜索引擎、视频会议工具、协作平台和生产力软件等众多重要服务和应用。他阐述了AMD全面的数据中心产品组合，包括全球性能最高的数据中心处理器EPYC CPU、专为人工智能和高性能计算(HPC)加速而设计的Instinct GPU、用于卸载开销任务的网络解决方案和数据处理单元(DPU)、可现场可编程门阵列(FPGA)以及与传统硅刻蚀CPU不同的可重新配置自适应系统芯片(SoC)。

Mike强调了AMD在市场份额增长方面的卓越表现，公司在5年内就从CPU市场抢占了超过34%的份额，这一成就是在与一家强大的竞争对手的激烈竞争中取得的。这一成功归功于AMD EPYC处理器出色的性能和效率，其第四代和第五代产品分别代号为Milan和Genoa，推动了这一增长。值得注意的是，当亚马逊云科技推出基于AMD第四代EPYC Genoa处理器的第七代实例时，他们声称这些实例在整个EC2范围内提供了最佳的x86性能和性价比，这得益于EPYC架构带来的惊人50%的代际性能提升，以及与亚马逊云科技合作进行的服务器设计工作。

为了说明这种性能提升带来的实际好处，Mike演示了从Intel的m6i实例升级到AMD的m7a实例后，用户可能会将性能提高一倍，从而实现37%的运营支出(OpEx)降低，因为只需要一半的实例或内核数量。他敏锐地指出，虽然实例的每小时成本乍一看可能会更高，但实质上巨大的性能提升最终将转化为显著的成本节约。以Redis数据库为例，Mike透露AMD的实例比同等Intel实例的性能高出2.2倍，从而在多种实例规格上实现了近50%的写入和读取操作支出降低。

Mike强调了成本优化的潜力，他指出在金融服务、医疗保健、生命科学和数字化企业等行业，通常有三分之二的基础设施OpEx用于一般IT开销，而非创造价值的应用程序。他建议通过利用AMD的性能优化这些开销，组织可以为人工智能和机器学习计划释放资金，至少实现27%的成本优化，根据他与世界各地众多客户的分析和互动，平均范围为37%到39%。

Mike建议考虑采用AMD第七代实例，由拥有300多项世界纪录的第四代EPYC Genoa处理器提供支持，用于性能优化;以及第六代实例，用于每小时成本优化，与Intel同类产品相比，价格低10%到45%，但性能相当或更好。

Madu Ranga Rajan随后深入探讨了AMD在人工智能领域的领导地位，强调了能源效率的重要性，它影响着数据中心容量、实例成本和总体拥有成本，即使对于云实例也是如此。他提供了基准测试结果，展示了AMD的性能优势，第四代EPYC (Genoa)在XGBoost机器学习工作负载上比Intel的Emerald Rapids快1.2倍，在TPCx-AI端到端人工智能工作负载上快1.7倍，而第五代EPYC(Turin)有望提供高达3倍的性能提升。

Madu展示了实例比较，揭示AMD的M7A实例在DLRM推荐系统、aLaMa2和GPT-J语言模型等工作负载上，每美元性能比Intel的M7i实例高出1.47到2.4倍。此外，他还证明组织可以通过租用23.44%到44%更少的AMD实例来实现相同的性能，从而获得可观的成本节省。

在研究推理效率方面，这是影响云实例成本的关键因素时，Madu强调AMD实例在每CPU瓦特的推理性能上比Intel实例高出1.2到2.4倍，从而贡献了更优的性价比。在裸机服务器上，AMD的Genoa在包括LLaMa 70亿和LLaMa 38亿吞吐量工作负载在内的各种模型上，每系统美元的性能比高出1.7到21倍。

Madu提供了CPU推理的实际案例，证明对于较小的语言模型如LLaMA 32亿，AMD实例可以实现200毫秒的标记时间和每秒300个标记的吞吐量，适合于具有较短查询和响应长度的企业聊天机器人用例。对于摘要任务，即将大量输入标记长度汇总为较短输出，标记时间为1.5秒，吞吐量为每秒100个标记，足以满足用户交互需求。

在讨论软件优化时，这是充分利用硬件功能的关键方面，Madu介绍了AMD的ZNDNN插件，这是一种开源、免费许可的解决方案，可提高流行深度学习框架如PyTorch、TensorFlow和Onyx运行时的性能。该插件利用图形优化、多线程和针对微架构的调优，从而带来性能提升。他展示了一些示例，其中ZNDNN在自然语言处理(NLP)、语言模型(LLM)和推荐系统等各种人工智能工作流程上，比现有不使用该插件的软件堆栈的性能高出52%。

最后，Mike重申了采用AMD EPYC实例可实现的巨大OpEx节省和性能提升，使组织能够同时优化成本和提高应用程序性能。他鼓励与会者参观AMD展台，深入探讨并与主题专家交流，并强调了与亚马逊云科技、Pixar和Pinterest合作的即将举行的会议，与会者可以从中获得更多见解，充分发挥AMD实例的性能和效率。

我们正处在 Agentic AI 爆发前夜。 2025 亚马逊云科技中国峰会提出，企业要从 " 成本优化 " 转向 " 创新驱动 " ，通过完善的数据战略和 AI 云服务，把握全球化机遇。亚马逊将投入 1000 亿美元在 AI 算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在 AI 时代突破。