首页 > 人工智能 > 机器学习 > 更快的检索,实现更好、更高效的RAG
最大内积搜索(MIPS)是推荐系统、搜索和检索增强生成(RAG(检索增强生成))的核心。给定一个查询向量,MIPS 系统会在包含数百万个候选键向量的数据库中搜索与查询最匹配的那个键向量。随后,与该最佳匹配键相关联的原始数据点被用于处理查询:在 RAG 中,最适合回答问题的文档通常会被前置到查询之前。
随着键的数量增长到数百万、向量维度达到数千,对查询与所有键进行穷举比较的计算成本急剧上升。人们提出了大量近似方法,利用聚类和量化来以精度换取速度。这些基线方法侧重于键集合的性质来构建巧妙的索引结构,但它们的几何论证粗略地假设查询集合本身会与键集合相似,或者完全回避了对查询形态的任何考量。这在两个方面可能存在问题:在关键的 RAG 场景中,查询来自简短的、用户生成的问题,而键则代表冗长、信息丰富且经过精心整理的文本片段,这使得键与查询存在显著差异。此外,生产环境中部署的大多数 MIPS 用例面向的是具有稳定、特征明确的查询分布的现有用户群体——这一信号表明,通用的、与查询无关的方法错失了可利用的信息。针对可能的输入来源设计最有效的方法——而非追求在所有可能输入上都表现良好——是现代机器学习的核心原则之一,有助于更高效地重新分配计算资源。
在发表于 ICML 2026 的论文《Amortizing Maximum Inner Product Search with Learned Support Functions》中,Apple 的研究人员针对固定的键数据库,离线训练小型神经网络(NN),使其学会如何更快地将查询路由到最佳匹配。该方法以一次性的摊销成本来理解典型查询的匹配方式,从而在推理时通过这些小型神经网络实现更快、更准确的检索。
MIPS 的一个基本原则是利用键集合的几何结构来加速搜索:典型的 MIPS 系统将键集合划分为 k 个簇——k 通常远小于键的总数 n——并为每个簇维护一个代表性质心。当收到新查询时,系统将其与这 k 个质心进行比较。然后,查询被路由到其最接近的代表性质心所在的簇,随后与该簇中存储的所有键进行穷举比较。如果数据库有 n 个键和 k 个均匀分布的簇,那么第二步中实际需要考虑的键的数量大约为 n / k——与朴素穷举方法中的 n 次比较相比,实现了 k 倍的加速。然而,这种路由机制可能导致错误,因为质心路由并非精确方法,如下图 1 所示。
从机器学习的角度来看,MIPS 之所以有趣,是因为它建立在一个在此项工作之前很大程度上被忽视的数学结构之上:将查询映射到与集合中任意键的最大内积的函数,是该集合的支撑函数,这是凸分析中一个被深入研究过的对象。该函数具有两个重要性质:第一,它是凸函数,因此可以用一类专为凸函数设计的神经网络——输入凸神经网络(ICNN)——来近似。第二,该支撑函数在任意查询处的梯度返回的正是最佳匹配的键本身。
这项工作背后的总体思路是学习一个神经网络,以低得多的计算成本来模拟真实支撑函数(或直接模拟其梯度)。这可以通过一种称为回归的经典机器学习技术来实现:只需预先计算大量训练样本,这些样本由采样的输入向量(用户查询)构成,并将其与 MIPS 产生的相关输出信号(最优得分或最优键向量本身)配对。然后,只需训练一个参数化适当的神经网络,使其在给定输入时复现输出即可。
如果按照上述数学方法完美地解决回归问题,那么训练来模拟支撑函数的同一个神经网络也可以通过评估其梯度(通过自动微分)来输出最优键。在实践中,我们观察到,为这两个任务分别训练专门化的网络效果最佳:
SupportNet 神经网络架构可以使用(约束较宽松的)ICNN 直接学习支撑函数。该方法在数学上有原则性,并与问题的凸结构相一致。我们发现,当用于为每个数据簇计算一个支撑函数以提升路由质量时,这种方法可以表现出色。
KeyNet 模型学习在输入查询时直接输出最佳匹配的键向量。源自齐次函数欧拉定理的一致性损失使其预测在几何上根植于底层支撑函数,即使并未显式强制凸性。
两个模型都在从相关查询分布中抽取的样本上进行训练:对于每个采样查询,通过穷举搜索计算一次真实最佳匹配并存储,从而创建一个监督数据集,该数据集捕获了实际重要的查询分布下的 MIPS 解空间。
如图 1 所示,处理更大规模的最简单方法是将键分成簇,将查询与每个簇的质心进行比较,并根据这些 k 个分数将查询路由到最有希望的簇。这提供了一种廉价但粗略的规则,可能容易出错,因为仅凭质心无法考虑其簇的分布范围。实际上,一个簇可能包含一个远离其自身质心但靠近查询的键,当查询接近这样一个离群点时,质心路由会给该簇打低分并跳过它,从而错过真正的最佳匹配。
如果能够获得每个簇的支撑函数,那么就可以进行精确路由,因为每个支撑函数精确量化了每个簇内任何键能够以高分匹配查询的程度。这在图 2 中进行了说明,其中针对在嵌入空间中变化的查询,绘制了四个簇各自的支撑函数。
基于这一理论洞察,我们提出与训练好的 SupportNet 联合学习这 k 个支撑函数,该网络可以一次输出 k 个分数。然后我们可以使用这 k 个分数中最大的一个来路由任何新查询。SupportNet 模型可以回答比简单与质心比较更有用的问题:“对于这个查询,这个簇内最佳键有多好?”SupportNet 以经典的机器学习方式(也称为回归)进行训练:我们生成从分布中抽取的样本查询(通常是文本查询的嵌入),计算这些查询处的真实支撑函数,并训练神经网络来复现这些值。
我们在划分为 128 个簇的 Natural Questions 上训练了规模递增的 SupportNet(XS、S、M 和 L → 数据库大小的 1%、5%、10% 和 20%)。Natural Questions 是一个检索基准,将常识问题与大型文档数据库中的段落配对,在我们的设置中大约有 260 万个唯一段落。
下面的图 4 显示了以召回率衡量的检索性能与不同成本概念的关系。路由召回率是指真实分区(包含精确最佳键的分区)落在路由器选择探测的分区中的查询比例。对于两个图,在与查询匹配的前 s 个簇中执行穷举搜索,其中 s 以 2 的幂增长(1、2、4、8、…、128)。自然地,当所有方法调查全部 128 个簇时,召回率都达到 1。
第一个标签页显示,对于固定的检索性能,学习路由器以比质心路由更低的延迟达到该性能。小型 SupportNet 模型达到 95% 路由召回率的速度比质心路由快约 1.9 倍(1.74 ms 对 3.36 ms),而大型模型的增益更大,在 1.74 ms 内达到 97%。该图明确考虑了运行我们的小型神经网络而非简单与质心比较所产生的额外计算。
第二个标签页的图仅关注路由质量,忽略了运行神经网络产生的开销。在固定的探索簇预算下,它们更频繁地找到正确的分区:仅扫描数据库的 5%,学习路由器在约 90–93% 的情况下恢复真实分区——中型(M)高达 92.6%——而质心基线为 87.5%。
SupportNet 路由取代了现有倒排文件索引(IVF)系统中基于质心的简单路由。使用 KeyNet,我们还可以保持 IVF 系统原样,只需向其提供修改后的查询版本。在这种情况下,KeyNet 自然地作为标准近似搜索索引前面的“查询重写器”工作:预测最佳匹配在嵌入空间中可能的位置,然后要求你最喜欢的 IVF 系统在那里查找,而不是从原始查询开始。由于 IVF 索引高度优化,在 KeyNet 的辅助下它可以更快地找到结果。我们还依赖回归来训练 KeyNet,如图 5 所总结:样本查询与其真实最佳匹配键配对,并训练 KeyNet 神经网络来复现该关联。
我们评估了规模递增的 KeyNet(XS、S、M 和 L → 分别为数据库大小的 1%、5%、10% 和 20%),并在下面的图 6 中展示了这些不同规模的召回率–成本权衡。在第一个标签页中,搜索预算是实际耗时:使用最大模型达到 99% 召回率所需时间最多可减少约 8 倍(0.23 ms 对比原始查询的 1.8 ms)。与之前一样,第二个标签页仅关注用 KeyNet 变换替换原始查询所带来的“质量”提升。x 轴是索引实际扫描的数据库比例:仅扫描数据库的 0.001%,经 KeyNet 映射的查询就能以 89–97% 的概率检索到真实键——最大模型(L)最高可达 96.7%——而原始查询为 86%;达到 99% 召回率所需键数最多可减少约 11 倍(0.009% 对比原始的 0.10%)。相同成本下获得更高召回率,或以一小部分成本获得相同召回率。
我们展示了从前面讨论的同一 Natural Questions 数据集获得的示例,通过 FAISS IVF 索引提供服务。它是我们研究的几个数据集之一,且趋势在这些数据集上保持一致。在整个搜索预算扫描范围内,用 KeyNet 预测的键查询索引始终优于用原始问题查询。
具体而言,下面的图 7 展示了五个 Natural Questions 示例:原始查询与经 KeyNet 映射的查询的前 3 个命中结果。

两者之间的选择最终是一个实用性问题。当推理速度是瓶颈且你只需要近似最佳键时,使用 KeyNet。当你还想要一个校准分数(用于重排序、阈值处理或下游使用),或在较小模型规模下计算资源紧张时——在这种情形下 SupportNet 仍具竞争力——使用 SupportNet。两者的训练方式相似,都能与现有的近似搜索基础设施集成,并且对查询模式中的轻度分布偏移具有合理鲁棒性。最终,对于键集合非常庞大的超大规模 MIPS 系统,可能需要两者兼用:在所有聚类上训练一个 SupportNet 路由器,然后为每个聚类训练一个 KeyNet,以帮助其常规索引更快地锁定最佳键。
摊销 MIPS 反映了当查询分布预先已知时——这是生产 ML 系统中的常见条件——检索方法可以如何转变。通过将 MIPS 解直接编码到网络权重中,该方法以一次性训练(即所谓的摊销)成本换取快速、轻量的推理,并开辟了一条通往明确针对其所服务查询量身定制的学习式检索系统的实用路径。




转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:Apple ML Research
原创地址:https://machinelearning.apple.com/research/faster-retrieval
原文作者:Apple ML Research;如有侵权,请联系管理员删除。