推理扩展（Inference scaling）是 AI 中一个活跃且令人兴奋的研究领域。本质上，它是指在推理时使用更多计算资源来显著提升大语言模型（LLM（大语言模型））性能的概念。在 IBM，我们一直在开发创新的推理扩展技术，以提升我们模型在推理任务上的性能。

利用推理扩展，我们希望分享将这些技术应用于 Granite-3.2（我们 Granite 模型系列的最新一代）所取得的一些令人兴奋的结果。在测试中，我们看到代码和数学推理任务的性能有了显著提升。

这些改进在标准基准指标上通常可达 20 分以上，使我们拥有 80 亿参数的 Granite 3.2 模型能够超越其他强大的专有模型，如 GPT-4o-0513 和 Claude-3.5-Sonnet。利用推理时计算来提升数学任务的推理性能，与我们 Granite 3.2 模型更广泛的通用内置推理能力相辅相成。

什么是推理扩展？

任何使用过大语言模型（LLM）的人都知道，如果将 LLM 的“温度”设置设为非零值，只需让 LLM 反复生成答案，就能获得多个不同的答案。答案的质量通常会有所不同，而挑选最佳答案是提升模型输出质量的一种可靠方法，代价是需要进行多次生成。要以自动方式选择最佳答案，可以依赖奖励模型（reward model），它可以被视为一种“伴侣”模型，用于对所有答案进行评分，然后我们可以从中选择得分最高的答案。

使用推理扩展进行推理

在推理任务的背景下，这种对多个答案进行评分以挑选最佳答案的思路也可以应用于答案生成之前常常出现的“思维链”（chain of thought）。事实上，你不需要等到整个推理完成后再判断推理是否良好。可以使用奖励模型逐步引导推理过程，让 LLM 知道推理何时可能走错了方向。能够对 LLM 的部分生成进行评分的奖励模型通常被称为过程奖励模型（Process Reward Model，简称 PRM）。

你可以通过结合三个要素来使用推理扩展实现推理：一个 LLM、一个 PRM，以及一个用于探索可能推理路径空间的搜索算法。这与 DeepSeek 推广的使用长思维链的方法不同。两种方法都使用推理计算来获得更好的答案。然而，推理扩展方法使用两个模型协同进行搜索，而 DeepSeek 的方法使用单个模型对自身进展进行反思。

使用 LLM、PRM 和搜索技术组合的一个优势是灵活性和模块化。你只需增加推理时计算预算就能可靠地获得更好的答案；我们可以更换 PRM，使用针对特定任务优化的版本，搜索算法的创新也可以接入系统，而无需对底层 LLM 做任何更改。

Granite 3.2 使用推理扩展进行推理

在 IBM 和 Red Hat，我们一直在开发和评估多种推理扩展技术，以了解 Granite 3.2 如何利用运行时扩展为代码和数学任务提供高级推理能力。我们评估了三种不同的方法来激活推理扩展：

• 第一种方法使用一种新颖的搜索算法，其灵感来自经典概率推理的思想，特别是粒子滤波（particle filtering）。我们将该技术与 QWEN2.5-Math-PRM-7B 作为过程奖励模型（Process Reward Model）结合，直接应用于 Granite 3.2。

• 我们的第二种方法采用更传统的多数投票技术，即从 Granite 中采样多个答案，然后选择出现频率最高的一个。为了应用这一技术，我们利用了 Granite 3.2 的原生能力，在数学问题上生成更长的思维链（比 Granite 3.1 长约 50%）。

• 我们的最后一种方法使用相同的多数投票技术，但应用于 Granite 3.2 的实验版本，标记为 Granite 3.2 (primed)，该版本通过监督微调和强化学习技术被鼓励生成更长的思维链。

为了衡量性能，我们使用了两个专注于数学推理的标准基准测试——MATH500 和 AIME 2024。虽然这两个基准测试中的任务都具有挑战性，但它们有一个共同特点：验证给定答案是否正确相对容易。作为参考点，我们报告了其他知名模型的性能数据，包括 DeepSeek 的 R1、OpenAI 的 o1-mini 和 GPT-4o、阿里巴巴的 QwQ-32B-Preview，以及 Anthropic 的 Claude3.5-Sonnet，这些数据以水平线表示。

在两幅图中，x 轴是用于生成结果的推理时间计算量的度量，大致对应于粒子滤波技术中的粒子数量和多数投票技术中的样本数量。按照标准惯例，y 轴上的指标是 pass @1，即模型在单次尝试中产生正确答案的概率估计。对于参考数据，我们仅报告平均 pass @1，因为我们分析的重点是对比在较小模型上扩展推理与在更昂贵模型上进行单次推理的效果。

如两幅图所示，Granite 3.2 能够利用推理扩展技术在 MATH500 和 AIME2024 上大幅提升性能。例如，使用粒子滤波方法，Granite 3.2 在 MATH500 上的性能提升了超过 60%，在 AIME2024 上的性能增长了 5 倍。我们还看到，即使是像多数投票这样简单的技术，也能带来显著的性能提升，因为它们能够激发模型生成数学思维链的原生能力。此外，我们确实观察到，通过“引导”Granite 3.2 生成更长的思维链，多数投票的性能有了明显改善。在两幅图中，经过引导的 Granite 3.2 模型均优于我们的 Granite 3.2 模型。

最后，也是最重要的是，借助这些推理扩展技术，我们的 8B 参数 Granite 3.2 模型在两个基准测试上甚至能够超越 GPT-4o-0513 和 Claude3.5-Sonnet-1022 等规模大得多的模型。

下一步计划

推理时间扩展已成为一种强大的技术，可用于提升模型性能，有时提升幅度相当显著。我们展示了实验室的早期创新成果，这些成果利用推理扩展技术使我们的 8B Granite 3.2 模型展现出最先进的数学推理能力，甚至超越了其他知名的专有前沿模型。这对我们来说是一个活跃的研究和开发领域，我们将继续增强 Granite 模型，以最有效和优化的成本提供最先进的 capabilities。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/inference-scaling-reasoning-ai-model