IBM Research 对传统的低秩适配器（LoRA）进行了修改，使大语言模型（LLM（大语言模型））在推理时无需延迟即可获得专门能力。一组面向特定任务、对推理友好的适配器现已在 Hugging Face 上提供。

低秩适配器（LoRA）是一种快速为通用大语言模型赋予特定知识和技能的方法，使其能够完成诸如总结 IT 手册或评估自身答案准确性等任务。但调用经过 LoRA 增强的大语言模型可能会迅速拖慢其性能。

这是因为当你从通用基础模型切换到使用 LoRA 定制的模型时，定制模型必须重新处理此前的对话内容，由此产生的计算和内存开销可能导致较长的运行时延迟。

IBM Research 提出了一种减少等待时间的方法。它被称为“激活式”LoRA（简称“a”LoRA），本质上允许生成式 AI 模型回收其已经执行并存储在内存中的计算，从而在推理时更快地输出答案。随着 LLM 智能体（Agent（智能体））越来越流行，快速从一个任务切换到另一个任务的能力正变得越来越重要。

IBM 的 aLoRA 可以像普通的 LoRA 一样被调用来执行专门任务。但在推理时，aLoRA 可以只关注基础模型已经计算好的现有嵌入。顾名思义，aLoRA 可以随时独立于基础模型被“激活”，且无需额外开销，因为它们可以复用存储在键值（KV）缓存内存中的嵌入。

“LoRA 必须一直回溯到长对话的开头并重新计算，而 aLoRA 不需要，”领导 aLoRA 项目的 IBM 研究员 Kristjan Greenewald 表示。

IBM 研究人员估计，激活式 LoRA 完成单个任务的速度比传统 LoRA 快 20 到 30 倍。根据调用的 aLoRA 数量，端到端聊天速度最高可提升五倍。

“当你试图让模型快速完成任务时，效率至关重要，”Greenewald 补充道。“推理时的成本会以金钱和延迟的形式累积。”

ALoRA：一种在运行时调用以简化推理的 AI“函数”

这种可以独立于基础模型被激活的 LoRA 的想法，源自 IBM 正在进行的加速 AI 推理的工作。LoRA 适配器已成为传统微调的热门替代方案，因为它们提供了一种将新能力精准注入基础模型的方法，而无需承担更新模型每个权重的高昂成本。使用适配器时，定制模型 99% 的权重保持冻结。

然而，尽管 LoRA 大幅降低了定制成本，它们却可能拖慢推理速度。这是因为其适配后的权重必须同时应用于来自用户的传入查询和模型生成的响应，从而产生大量额外计算。

IBM 研究人员想知道，是否可以通过仅将适配后的权重应用于生成步骤来减少部分工作。在传统软件中，静态链接的计算机程序可以通过动态加载预先编译好的外部软件库并调用相关函数，来执行它们并非明确构建来执行的任务。

然而，要让 AI 适配器像函数一样工作，研究人员必须弄清楚如何在没有代表用户请求的任务感知嵌入的情况下运行它。由于无法受益于针对用户目标定制的嵌入，他们最初几个激活 LoRA 的原型未能达到常规 LoRA 的准确率。

但他们最终找到了一种补偿方法——通过提高适配器的秩。随着网络容量的增加，适配器现在可以从通用嵌入中提取更多上下文线索。在一系列测试中，研究人员确认他们的“aLoRA”现在可以达到与传统 LoRA 相当的性能。

“在各种应用中，我们看到 aLoRA 定制的模型现在可以像使用标准 LoRA 定制的模型一样生成文本，”Greenewald 说。“我们可以在不损失准确率的情况下获得它们的运行时优势。”

实验性适配器的 AI“库”

IBM Research 正在为其 Granite 3.2 大语言模型发布一个新的 aLoRA 适配器库，旨在提高检索增强生成应用的准确性和可靠性。执行这些适配器的实验性代码也已提供，研究人员正在努力将其实现到 vLLM 中，这是高效服务 AI 模型的开源平台。IBM 另外还发布了一组标准 Granite 3.2 适配器，可立即在 vLLM 中使用。其中一些任务特定的 LoRA 是 IBM 去年通过 Granite Experiments 发布的 LoRA 的更新版本。

其中一个新的 aLoRA 可以重写对话中的查询，使其更容易搜索和检索关键段落。另一个可以判断查询是否能够基于检索到的文档来回答，从而降低模型幻觉出答案的风险。第三个可以估计模型对其答案准确性的信心程度，在用户应该复核事实时向他们发出信号。

除了检索增强生成之外，IBM Research 还发布了一些探索性适配器，它们可以标记试图越狱或绕过大语言模型安全控制的尝试，并检查大语言模型输出是否符合一组用户定义的标准。

测试时扩展——面向智能体及更广泛场景

已经证明，如果在运行时投入更多计算来评估和改进模型的初始响应，大语言模型的性能会显著提升。IBM Research 最近改进了其 Granite 3.2 模型的推理能力，引入了多种方法，在底层于测试时审查大语言模型的候选响应，并选择最佳的一个输出。

IBM Research 正在探索 aLoRA 是否能在被称为“测试时”或“推理时”扩展的场景中提供类似的性能提升。例如，可以设计一个适配器来为查询生成多个答案，并选择那个兼具低幻觉风险评分和高准确性置信度评分的答案。

AI 的下一个前沿涉及智能体，研究人员想知道对推理友好的适配器是否也能在这里产生影响。已经证明，当复杂任务被分解为离散步骤，供大语言模型智能体逐一处理时，AI 智能体能够很好地模仿人类推理。

这些步骤中的每一步都可能需要专门的模型来实施和评估，无论是由模型自身还是另一个模型来完成。IBM Research 语言技术总监 Luis Lastras 表示，这正是轻量级 aLoRA 真正能够大放异彩的地方。

“得益于其独特的架构，我们有望在运行时性能上看到巨大的提升，”他说。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/inference-friendly-aloras-lora