IBM 已开源两款原型工具，用于检测 RAG（检索增强生成） 应用中的幻觉以及估计模型不确定性。如果反馈积极，这些能力可能会被加入下一个 Granite 版本。

大语言模型的前景被一个显著问题所抵消：它们可能难以预测。并不总是容易判断 LLM（大语言模型） 刚刚生成的信息是准确的，还是基于可信文档的。

IBM Research 设计了一对开源低秩适配器（low-rank adapters，简称 LoRA），让开发者对 AI 内容生成拥有更多控制权。这些实验性适配器可以替换进 IBM 的 Granite 3.0 Instruct 8B 模型，也可以从中移除，以提供额外的质量检查。这些 LoRA 已在 Hugging Face 上提供，如果它们被证明有用，用于训练它们的数据将被纳入 Granite 3.1。

这些 LoRA 是 IBM Research 一个名为 Granite Experiments 的新试验场的一部分，用于测试想法，看看 AI 开发者是否认为它们有价值。如果这两项实验成功，研究人员计划发布新的开源功能供社区测试。

“我们希望给开发者一个尝试这些功能并提供反馈的机会，”IBM Research 技术产品管理总监 Kate Soule 说。“LoRA 提供了一种快速实验并迭代构建能力的方式。”

其中一个 LoRA 充当一种天气预报器，估计模型生成答案正确的可能性。另一个 LoRA 则标记检索增强生成（RAG）应用中可能属于幻觉的内容，识别模型响应何时可能偏离了所提供的源文档。

这些新的 LoRA 是为 Granite Instruct 8B 模型构建的，但使用相同流水线也可以为其他 Granite 3.0 模型构建类似的 LoRA。两个 LoRA 都接受结构化输入，允许开发者按需开启和关闭功能。这些实验性 LoRA 旨在补充 IBM 独立的 Granite Guardian 模型，后者用于在 AI 训练数据和推理时检测有偏见、危险和不准确的内容。

逐句来源检查

RAG 应用通过将 LLM 的响应限制在与特定领域相关的数据库或文档集内，例如人力资源政策或美国环境法，从而帮助提高 LLM 的可靠性。RAG 让 LLM 保持切题，并降低“幻觉”的概率，也就是那些听起来很权威但可能不正确或具有误导性的响应。

但即使使用 RAG，LLM 有时也会在模糊情况下即兴发挥。IBM 的 RAG LoRA 是一种即兴检测器。对于模型生成的每个句子，该 LoRA 都会提供一个来源，以及该句子与其关联可能性的评级。没有明显关联的句子会被标记为高幻觉风险。

“它给你更多信息，”专注于 RAG 和 AI 推理的 IBM 研究员 Chulaka Gunasekara 说。“如果你看到引用，你就知道模型答案背后是什么，以及是否应该信任它。”

计算准确响应的概率

如果你关注天气，你可能知道预测总是伴随着不确定性估计。预报说降雨概率为90%，这是一个强烈的信号，提醒你带上雨伞。如果概率只有10%，那么把雨伞留在家里可能就足够了。

IBM 创建了一个 LoRA，其作用方式类似，用于评估其对 LLM 预测的信心。“如果模型的信心很高，答案很可能是准确的，”专注于 AI 安全的 IBM 研究员 Prasanna Sattigeri 说。“如果信心很低，我可以将我的问题委托给另一个模型，看看它是否做得更好。”

IBM 用于衡量不确定性的 LoRA 源自 MIT-IBM Watson AI Lab 所做的 AI 模型校准工作，并在 2024 年国际机器学习会议上展示。研究人员向他们的目标 Granite 模型提供了一组问题数据集，并让模型生成答案，然后根据真实答案检查其准确性。

研究人员使用这些评估数据训练了一个辅助模型，以预测 AI 生成答案正确的概率，而无需查看实际答案。“辅助模型学习了 Granite 模型知道什么和不知道什么，使其能够泛化到未见过的问答对，”IBM 的 AI 研究员、该工作的合著者 Kristjan Greenewald 说。

由于规模问题，辅助模型原本难以部署，因此研究人员训练了一个 LoRA 来模仿它。现在，当这个 LoRA 被开启时，IBM 的 Granite Instruct 模型生成的响应旁边会出现一个准确性评级。

下一步是什么

根据开发者的反馈，IBM 研究人员有可能将这些 LoRA 能力整合到下一代 Granite 中。这些 LoRA 是一项实验，旨在探索是否有可能在 AI 模型开发周期的早期征求反馈，并加速创新。

在现有流程下，AI 模型更新可能需要长达一年才能发布。相比之下，传统软件更新最快可以在一两天内完成。如果新的 IBM 适配器被证明受欢迎，研究人员计划开发新的专业功能并收集社区反馈。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/Granite-adapter-experiments