在IBM Research AI硬件中心的早期，在ChatGPT让公众广泛了解生成式AI之前，IBM高管必须向企业解释为什么他们应该关注AI。如今，问题往往变成了IBM能以多快的速度帮助企业部署AI。
但AI的普及和流行带来了一个问题：传统企业硬件和软件栈无法跟上AI工作负载的巨大需求，因此难以满足日益增长的需求。CPU和GPU虽然非常适合其预期任务，但在部署用于训练和推理大语言模型（LLM（大语言模型））时，其速度和效率的局限性便暴露出来。
为应对这些日益增长的挑战，AI硬件中心于2019年2月成立，初期获得了来自IBM、纽约州立大学理工学院和纽约州的大量投资。创始成员包括三星、Synopsys、Applied Materials和Tokyo Electron Limited（TEL）。
像奥尔巴尼大学这样的学术机构也是重要合作伙伴，AI硬件中心相当一部分工作是在奥尔巴尼纳米技术综合体进行的，该综合体由NY CREATES运营，这是一个非营利性的公私合作机构，其学术合作伙伴包括纽约州立大学系统和纽约州立大学研究基金会。IBM中心的目标是开发下一代芯片、系统和软件，以支持AI的未来。
甚至在大语言模型爆发之前，IBM Research就已经认识到传统CPU和GPU的局限性，并在寻找制造AI专用硬件的方法。今年4月，IBM宣布Telum II处理器的板载AI加速器核心和独立的Spyre加速器将于今年在IBM z17中提供——这两者都是该团队努力的成果。Spyre也将在今年的IBM Power11中提供。IBM Research推动AI硬件中心的工作人员并不满足于仅仅生产芯片，他们正在为我们蓬勃发展的AI驱动世界设计全栈解决方案，包括能够充分挖掘新硬件潜力的软件。
为了实现这一目标，AI硬件中心很高兴向希望帮助完善软件栈的合作伙伴，以及只想开发AI芯片的成员，提供其前沿研究硬件的访问权限，中心项目总监John Rozen表示。“对研究人员来说，能如此接近产品是难得的机会，”他补充道。
处理器是他们最显而易见的产品，但AI硬件中心的AI加速器项目还包括对实验性模拟内存计算芯片的研发。硬件背后是让开发者和工程师能够无缝即插即用的软件，从而完善了AI加速器项目。其另外两个核心项目是AI技术测试平台，使开发者能够通过云端访问IBM的AI硬件，甚至修改算法或开源软件；以及异构集成项目，致力于开发高速、高带宽互连，将AI加速器与内存和处理能力连接在一起。
最初的开端
虽然他们今天交付的是完整方案，但中心最初只是源于一个核心想法：将近似计算用于深度学习。现任AI硬件中心总监的Jeff Burns早在2015年就开始与同事讨论这个想法，那是在Transformer革命和中心成立数年之前。他们讨论了利用低精度算术的效率来训练神经网络会是什么样子。
最初在Thomas J. Watson Research Center走廊里的讨论很快促成了一份关于该主题的白皮书，这为获得资金打开了大门，并提出了一个研究假设：从头设计低精度硬件，将为深度学习带来比试图让现有CPU和GPU进行近似计算更高的性能和效率。
IBM Research在2015年发表的关于该主题的开创性论文之一，证明了以16位精度进行深度学习且精度几乎不下降的可行性。2018年的一篇论文在此基础上进一步表明，可以以8位精度训练深度神经网络，后续实验表明，深度学习推理可以在4位甚至2位精度下实现强劲性能。
这是在 ChatGPT 出现之前，但 IBM Research 已经能看到计算工作负载即将发生的变化，并希望确保 IBM 在这场即将到来的旅程中占据主导地位——从硅、芯片和应用层面思考 AI 的影响。
在 AI 开始腾飞的同时，半导体缩放正在放缓，因此 Burns 和其他人一致认为，IBM Research 应将基础技术工作瞄准 AI。Research 内部的其他团队也在沿着同样的方向努力，在 AI Hardware Center 合并之前，就在开发硬件及配套软件以加速 AI 推理。该中心可能于 2019 年启动，但正如任何起源故事一样，它开始得更早。近十年来，IBM Research 一直致力于用于模拟内存计算的相变存储器件，这已成为该中心的研究方向之一。
“这促使我们将所有工作整合到一个框架下，以便以更连贯、一致的方式开展工作，”Burns 回忆道。这也促成了该中心技术方向的明确：模拟和数字 AI 加速器核心、异构集成以及 AI 技术测试平台。即使六年过去，这些方向依然保持不变。“我们 AI Hardware Center 相信这是解决问题的正确方式，”Burns 说。“幸运的是，IBM Research 拥有全栈解决方案的专家，以及理解整个范围的惊人能力。”
全栈解决方案
设计 AI 硬件就是要构建可用的东西，AI 加速器项目数字方向的联合首席研究员 Leland Chang 表示。“我们硬件人喜欢专注于闪亮的硬件，但你如何启用它并为其优化软件绝对至关重要，有时甚至比硬件本身更重要。”
如今 Spyre 已经面世，AI Hardware Center 正专注于架构、算法和设计，AI 加速器项目模拟方向的联合首席研究员 Vijay Narayanan 表示。“我们已经构建了硬件和芯片，现在我们正在尝试弄清楚诸如更节能的中等规模模型，或如何交付它们之类的事情，”他说。“无论是在行业还是中心，目标已经发生了很大变化。”
在开发新芯片所需的数年时间里，多个新 AI 模型兴起又衰落。一旦像 Spyre 这样的加速器建成，其设计就无法更改，因此其底层软件组件（如编译器）依赖于整个软件栈来释放芯片的能力，并为未来提供灵活性。
“即使你在构建新芯片时预判了跑道，也有很多事情会压缩你的跑道，”从事 AI 加速器架构工作的杰出研究科学家 Viji Srinivasan 说。“在压缩的跑道中，我们押注某些事情比其他事情更重要，我们正在努力启用和支持这些。”为了取得适当的平衡，Srinivasan 和她的同事定期与 IBM 内部的其他团队以及外部 AI Hardware Center 合作伙伴会面，以确保他们走在正确的轨道上。
例如，AI 加速器应该有多专用或多通用？Transformer（深度学习中的注意力模型架构） 架构构成了 LLM 的骨干，但构建专门支持 Transformer 需求的硬件可能会削弱其处理新兴混合模型的能力，例如与状态空间模型配对的模型。处理两者的能力——以及即将到来的任何东西，包括下一版 Granite——必须内置于硬件和软件中。
该领域也在并行成熟。寻求 AI 产品的公司开始转向 IBM 技术（尤其是 Spyre）擅长的领域。“人们开始意识到小型、专用模型很重要，现在你必须担心数据准备管道，”在该中心从事业务发展的 Edward Barth 说。“市场的意识正在赶上我们已经所处的位置。”
这已经产生了新的工作流。“我们能从合作伙伴那里收到的最好反馈是他们想要推动联合议程，”Rozen 说。“我们有来自竞争公司的人坐在桌边学习，但理想的结果是这些成员真正参与进来。”
内部合作伙伴关系
作为公司的有机增长引擎，IBM Research 也与其他 IBM 业务部门合作，将今天的发现转化为明天的产品。AI Hardware Center 于 2019 年开始与 IBM Infrastructure 团队合作，将单个 AI 加速器核心集成到 z16 的 Telum 处理器中，该处理器于 2022 年首次亮相。Srinivasan 及其团队将他们在 Telum 工作中所学到的内容融入到了 Spyre 中。“这种合作在 z17 的 Spyre 中继续，产品部门和研究部门之间存在着紧密的反馈循环，”她说。“在 IBM，我们吃自己的狗粮，首先使用自己的加速器清楚地证明了公司对这些想法是认真的。”
该中心目前的主要工作方向之一是软件赋能，构建工具让数据科学家可以像使用任何其他计算机一样登录并使用 AI 加速器。这使理论工作变为现实，因此 AI Hardware Center 让合作伙伴在其硬件上运行，以获得第一手经验并展示 AI 硬件的价值——当该团队只有实验性核心时，这是不可能实现的。如今，IBM Research 拥有搭载 Spyre 芯片的服务器，AI Hardware Center 成员可以远程访问。
IBM Quantum 在早期原型设备仅有几个量子比特时就将其上云，也做了类似的事情。AI Hardware Center 的领导者乐观地认为，提供 Spyre 和其他芯片将帮助行业合作伙伴掌握 AI 硬件的能力，从而形成进一步创新的飞轮。
下一步是什么
AI Hardware Center 的首款系统级芯片是 IBM Spyre，将于今年晚些时候在 IBM z17 中提供。他们已经在努力开发下一代数字 AI 加速器，并渴望将其完成、制造并推向世界。
然而，路线图远不止这一款芯片。
基于 Chiplet 的设计也在前方的路线图中。该中心的异构集成项目利用芯片封装技术来充分发挥硬件的潜力。AI Hardware Center 的专家们正在该领域进行大量基础研究，在未来的加速器世代中，这些技术可能会得到应用。
Narayanan 表示，模拟内存计算的工作也接近成熟，他强调这项技术远不止于复杂的相变内存硬件。“即使只有我们模拟内存计算工作的框架——架构、算法——能够与合作伙伴的新型内存产品一起进入产品化阶段，对我来说那就是成功，”他说。
更广泛地说，AI 工作负载持续演进，强化学习和微调正在模糊推理与训练之间的界限，思维链推理、推理扩展和代理式工作流等新概念也是如此。AI Hardware Center 的工作将继续考虑这些分支路径。
借助 Spyre，AI Hardware Center 的员工倾向于认同他们成功预判了 AI 工作负载，并为未来设计了芯片。“这可能很难做到，因为你不希望犯错，但每次发生变化时，我们都会调整方向并尝试不同的东西，”Chang 说。“但我们可以接受犯错，只要它能带我们到达正确的地方。”
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：IBM Research Blog
原文作者：Peter Hess；如有侵权，请联系管理员删除。
