在今年的 AI Hardware Forum 上，IBM Research 及其合作伙伴展示了他们如何通过开放生态系统中的完整解决方案来变革 AI 时代。

AI 的下一次飞跃不会由一家公司或一个实验室完成，IBM Research 高级技术员工 Griselda Bonilla 宣称。“它将通过协作来实现。”

站在 Thomas J. Watson Research Center 礼堂的舞台中央，Bonilla 在第六届年度 AI Hardware Forum 开幕时发表了这些开场致辞，该论坛由 IBM Research AI Hardware Center 赞助。随后是一天的演讲和小组讨论，由来自产业界和学术界的 AI 研究人员主持，核心围绕构建支持未来 AI 异构硬件生态系统的开放软件。

自 2019 年成立以来，AI Hardware Center 的目标一直是帮助实现 AI 的潜力，这项工作正在快速推进。迄今为止其最大的成果是推出了面向 IBM z17 和 Power11 系统的 IBM Spyre AI 加速器。这款专用 AI 系统级芯片从该中心的原型演进而来，并与 IBM Infrastructure 团队合作开发。Spyre 现在是一款产品级 AI 加速器，有望大幅提升生成式 AI 工作流的能效表现，同时提供 IBM 硬件众所周知的安全性和可靠性。

自去年的论坛以来，IBM Research 还宣布了旨在增强生成式 AI 的共封装光学技术突破。这种新型互连器件将芯片边缘的光纤密度比现有光波导提高了六倍，带宽估计提升了 80 倍。它有望彻底改变数据中心的能效，使处理器能够满负荷工作，而不是在等待数据通过铜缆传输时闲置——这意味着模型训练和推理可以使用更少的处理器。AI 计算中最大的瓶颈之一不是芯片算力——而是所有数据的移动。

除了对硬件的强调之外，完整性也是今年 AI Hardware Forum 的核心主题。“仅有一颗芯片是不够的，”IBM Research 混合云副总裁 Mukesh Khare 表示。无论 Spyre（或任何其他公司最终推出的 AI 加速器）多么强大，它都需要由完整的软件栈来支撑。而这个软件栈不会仅由 IBM 构建。

不断发展的合作伙伴关系

如果没有 AI Hardware Center 在产业界和学术界的合作伙伴，这些成就将是在真空中发生的。为此，Khare 宣布了 IBM Research 与 University at Albany 合作的下一个发展阶段，现在将包括更多项目，并为 Center for Emerging AI Systems 更新硬件，该测试平台合作由两家机构于 2023 年成立。

IBM 和 UAlbany 的第一个原型计算集群于 2024 年使用实验性 Spyre 器件构建，该中心现在将获得新的产品级 Spyre 加速器。该大学将成为 IBM Research 的第一个拥有这些加速器的外部合作伙伴。它们也将提供给希望开展研究合作的其他机构。

除了新器件之外，UAlbany 和 IBM 在去年启动的五个项目之外，还有七个新的 AI 研究项目有资格在来年获得资助。新工作涵盖从关于 AI 模型的深入计算机科学研究到 AI 的具体科学应用。例如，数学与统计系的一个项目名为“Scalable and Expressive Attention Mechanisms for NLP”，而一个癌症流行病学和生物统计学项目名为“Accelerating Mutational Signature Extraction Using IBM Spyre Accelerators”。

今年 IBM 还启动了与 National University of Singapore 的合作。新中心的研究人员将围绕天气建模与预测、可持续城市发展和安全开展项目。他们将利用 IBM 的全栈 AI 基础设施和开源模型，包括 Granite 系列模型和 Spyre 加速器，同时专注于微电子研究，以从芯片层面加速 AI 系统。

一个不断演进的中心

2025 年 AI 硬件论坛的与会者包括该中心在产业界和学术界的现有合作伙伴。正如 Khare 所指出的，来自 40 多家非成员企业和 10 多所非成员高校的代表出席了会议。这种来自新潜在合作伙伴的参与和兴趣，体现了 AI 硬件中心的持续演进，其关注点并不局限于发明芯片。对于 IBM Research 专注于该领域的业务拓展高管 Ed Barth 而言，AI 硬件中心可以被视为一个协作网络的入口，而推动整个领域向前发展正需要这样的协作网络。

今年，IBM 展示了其对开源项目的新贡献，这些项目旨在构建下一代开放、可扩展的推理系统。通过调整开源工具以最大化 Spyre 的性能和可移植性，IBM Research 还为开源社区贡献了新工具。例如，IBM 采用推理服务库 vLLM 作为 Spyre 的推理运行时，并采用 torch.compile 作为其前端编译器。为实现这一点所做的工作将使开发者能够以最小的投入将 Spyre 和其他新兴加速器集成到他们的技术栈中。

在未来一年，AI 硬件中心将专注于为成员组织增强和丰富内容，并加深对支持 AI 计算的开源软件的投入，包括 PyTorch、vLLM 和 llm-d。与此同时，该中心将继续推进其在数字和模拟加速器方面的基础工作，包括面向 AI 的降低精度数学和算法。

该中心在异构集成和先进封装方面的工作，例如面向 chiplet 和 3D 堆叠等概念，也将继续向前推进。目标是增强现有和未来 CMOS 器件所能实现的能力，包括共封装光学和晶圆级扇出封装。

影响深远的目标

当天多场演讲讨论了 AI 工作负载日益增长的能源需求。哈佛大学计算机科学教授 Minlan Yu 登台更详细地剖析了 AI 的能源饥渴。她指出，电力是 AI 增长的最大制约因素之一，并且 AI 数据中心打破了电网中关于负载多样性的常规假设：不同的电力用户在不同地点需要不同数量的能源，这自然会随时间产生一种平衡效应。另一方面，数据中心需要在少数站点提供大量电力，机器高度集中在小空间内，并且其电力需求变化频率很高。换句话说，AI 数据中心将巨大的电力消耗集中在少数地方，而且几乎没有缓解。

作为 Yu 工作的一部分，她和她在哈佛的合作者正在研究新方法，将数据中心从被动的消费者转变为主动的自我调节协作者，同时推动电网市场结构现代化，以适应不断变化的负载需求。

AMD Research 高级研究员 Mike Schulte 指出，推理和智能体正在推动计算需求激增。Schulte 随后概述了电力危机的根源在于，如今海量的推理请求需要充满 CPU 和 GPU 的数据中心，而 AI 模型规模的指数级增长同时推动训练能源需求大幅增加。当然，移动数据所需的能源也是一个重大问题，这意味着对尽可能本地化的 AI 计算可能会有更高需求。与此同时，硬件开发速度首次超过软件开发速度，而计算效率的增长正在放缓。这意味着存在一个机会，可以开发提高效率的 AI 专用计算。Schulte 表示，低精度数字格式可能会成为这一未来的一部分，同时还包括降低内存能耗、提高能源带宽、存内处理和光通信——这些都是 AMD 和 IBM 正在研究的方向。

在软件生态系统方面，多场演讲聚焦于开源社区在将后端软件与不同处理器集成，以及构建、训练和部署模型方面的作用。在其关于 PyTorch 的演讲中，Meta 高级工程师 Alban Desmaison 概述了它如何作为多种不同 AI 加速器类型的后端运行，这与 IBM 推进异构计算的承诺一致。在一场关于构建、训练和部署模型的全会上，Red Hat 工程总监兼 IBM 杰出工程师 Carlos Costa 登台讲述了 vLLM 和 llm-d 如何让扩展 LLM（大语言模型） 推理变得更容易——在这个多加速器、高需求的时代，这已经变得更加复杂。

“只谈训练和推理已经过时了，”AI 硬件中心主任 Jeff Burns 在论坛演讲中表示。他认为，如今更准确的做法是将划分细化为数据准备、分布式训练、模型定制和推理。当他回顾该中心一路走来的历程时，从最初关于低精度算术的讨论，到通过将 AI 放到 PCIe 卡上来为计算添加 AI，Burns 强调该领域远未尘埃落定：“我仍然认为，我们至少在一场九局棒球赛的第一局。”

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/ai-hardware-forum-making-open-infrastructure-for-ai-a-reality