IBM Research 的 AIU 系列原型芯片设计指向了一个未来：AI 计算更高效、更省电、能力更强。

世界的计算方式正在发生转变。我们长期以来在生活和工作的许多方面依赖计算机，但在过去十年中，全球对 AI 应用的需求出现了爆发式增长。

AI 模型规模呈指数级增长，但在云端（或智能手机、传感器等边缘设备上）训练和运行这些庞然大物所需的硬件却远未跟上步伐。AI 软件通常需要大量算力和内存，而过去的计算机芯片设计已不足以应对现代 AI 系统的需求。即便是当今最强大的芯片，也主要是为同时处理大量简单任务而设计，或是在某一类任务（如图形渲染）上极为高效。为了降低延迟、提升芯片速度，内存和处理单元需要比以往任何时候都更紧密地集成在一起。

正因如此，IBM Research 多年来一直在探索 AI 设备的未来形态。2019 年，它成立了 AI Hardware Center，这是一个全球研究枢纽，总部位于纽约州奥尔巴尼，IBM 在此与全球学术界和产业合作伙伴携手，探索让运行 AI 模型更轻松、更节能的新方法。

IBM 研究人员一直专注于开发能够满足当今 AI 模型性能需求的新型 AI 硬件架构。2022 年，IBM Research 发布了原型 AIU，即人工智能单元。AIU 独立于 GPU（图形处理器） 或 CPU，从底层开始构建，专门处理 AI 工作负载。最初的 AIU 原型芯片并非唯一一条致力于让 AI 模型运行更高效、更具成本效益的工作流——IBM 研究人员有一整套正在探索的思路。

今天，在约克敦海茨举行的 2024 AI Hardware Forum 上，IBM 半导体总经理兼混合云研究副总裁 Mukesh Khare 介绍了 AIU 系列加速器中的多条研究工作流。这些系列成员处于不同的成熟阶段，代表了 IBM 对 AI 芯片设计未来的多种思考方式——不仅着眼于明天，更着眼于未来数年。

“我们是 IBM Research，”Khare 说，“我们需要关注那些近期内可以转化为产品的东西，也要关注那些十年后可能具有革命性意义的东西。”

AIU 与 Spyre

IBM Spyre 是 AIU 系列成员中最成熟的一个。8 月，IBM 宣布了 IBM Spyre AI 加速器，这是一款商用系统级芯片，将使未来的 IBM Z 系统能够以比今天更大的规模执行 AI 推理。它很快将可供企业集成到其 AI 工作流中。

Spyre 的灵感来自最初的 AIU 原型，该设备将 CPU 和 AI 核心紧密集成在同一芯片上。该原型于 2022 年首次展示，基于 5 nm 节点平台构建，包含 32 个核心和 230 亿个晶体管。它的设计目标是将数据直接从一个计算引擎发送到下一个计算引擎，从而大幅节省能耗。

此后，IBM Research 和 Infrastructure 团队携手合作，将 AIU 原型演进为企业级产品，以便将其集成到下一代 Z 大型机中。这项工作的成果就是 IBM Spyre AIU 加速器。这款可量产加速器与最初的原型共享非常相似的架构。Spyre 板载 32 个独立加速器核心，包含 256 亿个晶体管，使用 14 英里长的导线。它还采用 5 nm 节点工艺技术生产，每个 Spyre 都安装在一张 PCIe 卡上。多张卡可以集群在一起——例如，一个由 8 张卡组成的集群可为单台 IBM Z 系统增加 256 个额外加速器核心。

即便 Spyre 已投入生产，各团队仍在研究下一步。Infrastructure 正在推进其量产型号，并于近期宣布 Spyre Accelerator 将集成到 2025 年推出的 forthcoming Power11 系统中。IBM Research 也在继续为实验目的测试和优化 IBM Spyre AIU。

最初的 AIU 原型和 IBM Spyre 都是专用集成电路（ASIC）。它们专为深度学习设计，可通过编程运行任何类型的深度学习任务，无论是处理口语语言，还是生成式 AI 能力。它还可以插入任何带有 PCIe 插槽的计算机或服务器。

去年年底，IBM Research 在其约克敦海茨总部的新系统中安装了一个由约 100 张联网 IBM Spyre AIU 卡组成的集群。该机架设计展示了 AIU 如何融入未来的数据空间，并展示了芯片在真实生产 AI 工作负载上的运行。它们目前正在为 IBM 数据和 AI 平台 watsonx 上出现的模型运行 HAP（仇恨、辱骂和亵渎）过滤。该工作负载目前正在运行，与针对训练优化的 GPU 集群相比，功耗大约低八倍——吞吐量相当。

IBM 今年早些时候还在奥尔巴尼大学安装了一机架 IBM Spyre AIU 卡，这将使学生和教职员工能够在校园内运行复杂的 AI 模型，帮助他们探索和推进生成式 AI 的最新技术。今天在 AI Hardware Forum 上，IBM 宣布将在阿拉巴马大学亨茨维尔分校安装一组 IBM Spyre AIU 加速器——该校就在 NASA 马歇尔太空飞行中心附近。研究人员将使用这些卡进行多项生成式 AI 实验，包括运行由该大学、IBM 和 NASA 联合开发的气象和气候模型。在早期测试中，该集群运行 IBM-NASA 模型的效率比 GPU 高出三倍——研究人员将继续测试和改进这一点。

AIU NorthPole

在该国另一端的 IBM Research 加利福尼亚州阿尔马登实验室，另一组研究人员近二十年来一直在研究一种完全不同的 AI 计算方法——从大脑结构中汲取灵感并将其融入硅芯片。我们的大脑是我们所知最强大、最节能的处理器，但以数字方式创建任何近似神经元的结构一直是一项巨大挑战。

由 IBM Fellow Dharmendra Modha 领导的团队多年来一直致力于构建模拟各种动物复杂结构的芯片，从蠕虫到蜜蜂，再到老鼠和猫。目标是利用传统处理器擅长的“左脑”计算，并将其与更像我们大脑右侧运作方式的突触设计相结合，以进行推理和处理图像。这促成了 TrueNorth 芯片，IBM Research 于 2014 年首次发布了该芯片。

与东海岸的团队非常相似，Modha 在西海岸的团队一直试图突破所谓的冯·诺依曼瓶颈，以降低延迟。自半导体行业诞生以来，计算机芯片往往将处理和内存分离为简单、离散的设备，这些设备在过去几十年中扩展良好。但在 AI 推理中，需要在如此短的时间内处理如此多的信息，因此在处理器和内存设备之间传输信息会浪费宝贵的时间和能源。为了打破这一瓶颈，Modha 的团队致力于将内存存储在与处理相同的设备上。这是一种称为“近内存计算”的设计，其灵感来自大脑中信息通常存储在附近位置并进行处理的方式。

在过去十年中，该团队一直致力于将这一想法变为现实，最终在 2023 年发布了他们的最新芯片原型 AIU North Pole。在某些条件下，它可以比当今市场上大多数其他用于 AI 的芯片更快地执行 AI 推理——并且功耗低得多。

AIU NorthPole 采用 12 nm 晶体管节点工艺制造，在 795 平方毫米的空间内包含 220 亿个晶体管。它有 256 个核心，可在 8 位精度下每个核心每周期执行 2,048 次操作。AIU NorthPole 将内存与芯片的计算和控制单元紧密耦合，实现了高达每秒 13 TB 的片上内存带宽。但 AIU NorthPole 的最大优势也是一种限制：它只能轻松地从其板载内存中读取。如果它必须从其他地方访问信息，芯片的所有加速效果都会被削弱。

然而，该团队现在正在研究如何利用 NorthPole 支持针对特定用例运行更小 LLM 的日益增长的趋势。他们最近展示了在 AIU NorthPole 上运行这类模型可能具有巨大价值。在基于 IBM 的 Granite-8B-Code-Base 模型开发的 30 亿参数 LLM 上进行的推理测试中，该团队能够将每个 token 的延迟降至 1 毫秒以下——比下一个最节能的 GPU 快近 47 倍。

他们将 16 个通过 PCIe 通信的 AIU NorthPole 放入一台现成的 2U 服务器中，并发现他们可以在同一模型上达到每秒 28,356 个 token 的吞吐量。它在达到这些速度的同时，能效仍比下一个最低延迟 GPU 高出 70 多倍。为了运行该模型，该团队将其 14 个 transformer 层分别映射到一张卡上，并将输出层映射到剩余的两张卡上。在这些实验中，按单位功耗解释的帧数衡量，NorthPole 的能效比流行的 12 nm GPU 和 14 nm CPU 高出 25 倍。

虽然 AIU NorthPole 仍是一个不断改进的研究原型，但它已经显示出非常有前景的结果，并且可供客户在自己的基础设施中进行实验和评估。

AIU 模拟芯片研究

或许 AIU 系列产品线中最具实验性的项目，是围绕模拟 AI 这一概念展开的。

虽然该系列的其他成员在许多方面都比当今可用于 AI 的其他处理器高效得多，但与人类大脑的计算效率相比，它们仍相形见绌——我们的大脑每天仅消耗几分之一千瓦时的电量。IBM 的多支研究团队正在研发模拟芯片——这意味着它们几乎不需要电力就能运行。破解大脑高效运转的秘密并将其应用于计算机芯片，对计算未来的颠覆性影响，可能不亚于量子计算。

2021 年，IBM 开发出了使用相变存储器（PCM）的芯片。其原理是对一种特殊材料施加电脉冲，该材料在电流通过时会改变电导率。这种材料在非晶态和晶态之间切换：较低的电脉冲会使器件更趋向晶态，电阻降低；较高的脉冲则使器件趋向非晶态，电阻增大。PCM 器件并不像数字系统那样将状态记录为 0 或 1，而是将当前状态记录为非晶态与晶态之间的一系列连续值。这个值被称为突触权重，可以存储在每块 PCM 器件的物理原子构型中。即使断电，这些权重也能保留。

这些权重使你能够将神经网络的权重直接编码到模拟 AI 芯片上。在近期发表于《自然》杂志的研究中，IBM 的研究人员展示了他们能够将一个拥有 1700 万参数的 AI 模型编码到他们创建的模拟器件上。这大约比 GPT-3 这样的模型小两个数量级，但指向了一个未来：模型可以直接编码到 PCM 器件上，并且在器件权重设定后，使用时几乎不需要电力。该团队构建的器件还被用于编码一个模型，该模型能够从 12 个词的集合中监听被说出的某一个词，类似于消费设备监听“Hey Siri”这样的唤醒词。在测试中，他们的器件识别这些词的速度比现有的消费软件系统更快，且所需成本仅为后者的一小部分。

IBM 研究人员正在探索模拟 AI 的许多其他用途。在发表于《自然·电子学》的一篇论文中，一个团队展示了他们可以使用一种不同但同样节能的模拟芯片设计，实现可扩展的混合信号架构，在计算机视觉图像识别的 CIFAR-10 图像数据集上达到非常高的准确率。该芯片由 IBM 在奥尔巴尼纳米技术综合体设计和制造，由 64 个模拟存内计算核心组成，每个核心包含一个 256×256 的 PCM 突触单元交叉阵列。

要将模拟 AI 从概念变为现实，还需要克服一些障碍。这些器件需要能够以与当今数字设备大致相同的精度进行计算，并且需要能够与我们用于其他用途的数字设备（如数字通信系统）进行接口。构建混合信号架构模拟芯片的研究团队认为，他们的工作在一定程度上解决了这些挑战——通过创建一种既能与数字设备交互，又能在某些 AI 任务上表现良好，同时功耗极低的芯片。

模拟 AI 器件仍处于研究阶段，但与 AIU 系列的其他成员一样，IBM Research 正致力于围绕模拟 AI 构建一个充满活力的生态系统和平台。作为其中的一部分，IBM Research 将其模拟 AI 仿真框架的一部分开源，名为 AIHWKit。这是一个与 PyTorch 集成的工具包，可以模拟模拟交叉阵列，并允许用户评估模拟器件的材料缺陷可能对 AI 模型准确率产生的影响。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/aiu-chip-family-ibm-research