LLM 可以减轻研究和写作中的一些繁琐工作，从总结会议纪要到初步制作演示文稿。

但有时，它们也会混淆事实、自相矛盾，并说出明确被告知不要说的话。令人紧张的部分是知道何时该相信 LLM 的话，何时该反复核实事实，因为它们可能在产生幻觉。

它们偶尔的失误对医疗、教育等行业更广泛地采用 AI 构成了根本性挑战。“幻觉是 LLM 训练方式的内在副产品——训练目标是预测下一个词，而不是下一个真相，”专注于提升 LLM 可靠性的 IBM 研究员 Alessandra Pascale 表示。

为了让 LLM 更值得信赖，IBM 及其合作者正在开发一系列新的、更强大的开源工具来调试它们。IBM 用于检测有害和“幻觉”内容的 Granite Guardian 模型目前在 GuardBench 排行榜前 10 名中占据 6 席。

IBM Research 还在扩展其在 AI 可解释性方面的长期工作。其新的 In-Context Explainability 360 工具包允许开发者探查生成过程，以理解 LLM 的“思考”过程并发现潜在问题。ICX360 是研究人员计划很快推出的一系列专注于 LLM 的工具包中的第一个。

IBM 还在开发用于明确事实核查 LLM 和 LLM 智能体的工具，名为 FactReasoner。这个新框架通过引用外部来源并权衡相互冲突的证据来检查长篇答案的准确性。

FactReasoner 将每个事实和主张排列在图上后计算总体准确性分数，向用户突出显示可能可疑的信息片段。该工具是 IBM 与 NASA 合作的一个更大项目的一部分，该项目旨在开发一个事实核查器，能够透明地拆解 AI 生成的科学内容，为科学家和公众识别并纠正错误。

探查解释

用问题或请求提示 LLM，你会得到一种答案。但改动几个词，你可能会得到不同的、甚至矛盾的答案。IBM 研究人员设计了 MExGen 算法，用于识别提示中对模型相应答案影响最大的词、短语或句子。

“它能让你了解模型在生成回答时参考了什么，从而让你的事实核查工作更容易，”参与开发 MExGen 的 IBM 研究员 Dennis Wei 表示。

作为 ICX360 工具包的一部分，MExGen 本周在维也纳举行的 ACL 2025 会议上进行了口头报告。它的工作原理是将提示或检索到的文档拆分为片段，并生成包含部分信息的较短提示。另一个模型将修改后的提示及其响应与 LLM 的原始响应进行比较，并给出相似度分数。“如果响应变化很大，你就知道那个片段很重要，”Wei 说。

这些洞察被综合转化为一张语义热力图，展示了对大语言模型（LLM）初始回答影响最大的词语或短语。最重要的片段以深蓝色标记，帮助开发者精准定位可能导致模型失控的触发词和短语。

MExGen 的部分灵感来源于用于解释 AI 预测的 SHAP 方法，而 SHAP 本身基于博弈论中的 Shapley 值，该理论提出了一种在一组参与者或协作者之间公平分配收益（或成本）的方式。应用于大语言模型（LLM）时，SHAP 衡量查询的每个部分对模型回答的贡献程度。

此前的 SHAP 算法仅限于具有已知概率“logits”的开源大语言模型（LLM），logits 是表示模型下一步输出特定 token 可能性的数值。但 IBM 的新方法可以探测 logits 隐藏在 API（应用程序编程接口） 背后的模型。它还能更高效地完成这一工作，允许用户决定是需要逐词解释还是逐句解释。

对比解释为理解大语言模型（LLM）生成提供了另一个窗口。IBM 的对比解释工具名为 CELL，它建立在早期工作之上，也是 ICX360 工具包的一部分。CELL 迭代地改写用户的初始问题，直到某个改写版本促使模型输出与其原始回答相矛盾的答案。

与 MExGen 类似，CELL 使用一个评分函数，根据对抗性提示及其生成的回答与模型原始答案之间的语义差异进行评分。一旦模型输出足够矛盾或较差的回答，循环就会停止。

CELL 和 MExGen 都能揭示大语言模型（LLM）隐藏的触发词，这些触发词可能引发不准确或矛盾的回应。在实验中，研究人员发现，将句子“What's the worst part of your job?”中的“worst”替换为“important”，模型的刻薄回答会从“I don't have a job, I'm a computer program”……变成类似人力资源手册中的内容：“Building strong relationships with colleagues and clients is the most important part of many jobs”……。

一个反复无常的聊天机器人可能令人恼火。但当它生成错误信息时，可能会削弱社会信任——甚至损害企业利润。

当研究人员询问一个基于 IBM 自身商业行为准则训练的聊天机器人，为竞争对手提供咨询是否被禁止时，它正确地回答了“否”。但当问题被改写，将“competitors”替换为“other companies”时，模型却给出了相反的答案，违反了 IBM 的准则。

“改写后的提示与原提示含义相同，却触发了相反的答案，”参与开发 MExGen 和 CELL 算法的 IBM 研究员 Ronny Luss 表示。“开发者可以利用这些信息重新训练模型。这是使用对比解释进行调试的一个很好的例子。”

化解威胁

ICX360 工具包中的第三个工具是一个 token 高亮器，可以帮助开发者识别并阻止外部试图“越狱”其模型并绕过安全护栏的行为。成功的越狱通常始于攻击者诱导模型给出肯定性回应，例如“Sure, I can tell you how to build a bomb.”

该工具的工作原理是标记最有可能触发肯定性回应的 token，并通过缩小其嵌入向量来中和它们。在对两个对齐的大语言模型（LLM）进行的实验中，研究人员发现该 token 高亮器能够防御多种越狱攻击，同时不影响它们在 AlpacaEval 基准上的表现。

“这是一种具有成本效益的可解释防御方法，因为只需要对受保护的LLM进行一次查询就能定位关键token，”IBM研究员Pin-Yu Chen表示，他是生成式AI红队测试专家，也是该方法的共同开发者。

验证科学内容

标记LLM生成内容中不准确之处的主要困难之一在于，错误信息往往与正确信息交织在一起，且所有内容都以流畅、权威的语气呈现。为了筛选出真相，不同的事实核查策略应运而生。

最流行的做法是分离出用户问题中的事实和主张，并对照外部知识源（如Wikipedia或Google）检查其准确性。然后为整个回复计算一个事实性评分。

这种方法的一个弱点是，将陈述分类为真或假往往比看起来更棘手。通过训练嵌入LLM的事实可能与从独立来源检索到的事实相冲突，而那些来源本身也可能相互矛盾。

FactReasoner试图将逻辑注入审查过程。“我们的意图是设计一种工作流程，模拟人类权衡证据和上下文的方式，”IBM研究员、FactReasoner共同开发者Radu Marinescu表示。

FactReasoner将LLM生成的长篇回复分解为各个主张，每个主张都对照两个或更多外部来源进行核查。外部事实被赋予可信度评分，并作为节点排列在图上，以评估LLM整体回复正确的可能性。

研究人员在多个长篇事实性基准数据集上比较FactReasoner的表现，发现其方法显著优于几种领先的AI事实核查算法。

下一步计划

这些技术结合在一起，可以最大限度地减少LLM损害自身可信度的可能性。IBM Research计划很快开源两个互补的工具包：AI Steerability 360旨在让用户对LLM的行为拥有更大的控制权，而一套上下文隐私工具则旨在净化用户在智能体工作流中可能泄露的信息。研究人员还在努力为FactReasoner添加一个自我反思循环，使被标记为不可靠的事实和主张能够得到纠正。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/debugging-LLMs-for-reliability