检索增强生成（RAG）已成为一种流行的方式，利用 AI 快速找到可靠且可验证的答案。通过 RAG 流水线，大语言模型可以调用数据库或其他外部知识源，将其响应建立在最新、最相关的信息之上，而无需重新训练语言模型本身的高昂成本。

RAG 可以帮助防止 LLM 在没有答案时即兴发挥，提供不准确或捏造的事实。作为额外的保障措施，RAG 让用户可以检查引用并验证所获信息的正确性。部分归功于 RAG，如今的 LLM 在一次性问答任务上表现出惊人的娴熟。但一旦任务变得更加复杂，需要像与真人对话那样进行大量来回交流时，LLM 的表现就会下降。

IBM 的新基准测试和数据集 MTRAG 旨在评估 LLM 在面对与真人实时聊天时所特有的模糊性和不可预测性时的表现。该数据集包含 110 段扩展对话，涵盖四个与企业相关的领域——金融、通用知识、IT 文档和政府知识。为了创建该数据集，IBM Research 付费聘请了熟练的人工标注员与一个实时 RAG 智能体进行交互，该智能体由检索器和 LLM 驱动，用于获取并生成与当前问题相关的内容。

MTRAG 中的许多问题被刻意设计为部分或完全无法回答。目的是观察智能体在应当请求澄清或直接说“我不知道”时，是否会即兴编造。标注员根据需要编辑了智能体的回复。

来自六家公司的领先 LLM（包括 IBM Granite）在最终确定的问题上进行了测试，其回复与标注员清理后的版本进行了比较。实验揭示了两个趋势。所有模型在那些被设计为无法回答的问题上表现急剧下降。而且所有模型在对话中第一个问题上的表现都优于后续问题。

“这些结果证实了我们的猜测，”Sara Rosenthal 说道，她是一位专注于自然语言处理的 IBM 研究员，也是该数据集创建的联合负责人。“我们知道，当答案不在其参考段落集合中时，LLM 很难说出‘我不知道’。我们也知道它们在多轮对话中表现不佳，因为多轮对话需要跟上之前所问和已澄清的内容。我们的结果显示了 LLM 需要在哪些方面进一步训练以提高可靠性。”

对话式 RAG

IBM 的数据集旨在紧密模拟自然对话的流程。标注员通过一个名为 Conversational Workbench 的定制聊天应用程序与实时 RAG 智能体进行交互，该应用程序由 IBM 设计，用于纳入人工反馈。每位标注员收到示例对话开场白（即种子示例）来启动聊天。在每一轮对话中，标注员评估检索器返回的段落以及 LLM 摘要答案的质量。没有包含任何错误的回复被丢弃。

检索是实时进行的，以确保进行中的对话中最新的回复反映之前传达的信息，从而帮助避免重复或偏离主题的答案。他们还专注于模拟 CLAP-NQ 中那种简洁但信息丰富的回复风格，CLAP-NQ 是 IBM Research 早期创建的一个数据集，旨在为斯坦福问答数据集（SQuAD）等数据集中的抽取式答案添加更多上下文。

IBM 的 MTRAG 数据集涵盖了广泛的企业相关知识。来源包括上述 CLAP-NQ、一组关于财务建议的 StackExchange 帖子、IT 工作人员可能查阅的 IBM Cloud 文档集合，以及人们可能去查询陪审团义务或垃圾收集等详细信息的政府网页集合。

“关键是要创建出即使市场上最好的语言模型也会受到挑战的对话，”Yannis Katsis 说道，他是一位 IBM 研究员，也是 MTRAG 开发的联合负责人。

MTRAG 也可以在 unitxt 中进行评估，unitxt 是 IBM 的开源框架，用于准备数据，以便模型之间可以更轻松地进行基准测试。

RAG 对具有扩展上下文窗口的 LLM 的相关性

LLM 的上下文窗口是模型在执行与客户聊天或修复一行代码等任务时可以考虑的最大文本量。它包括用户提示中的文本和模型自身生成的文本。更大的上下文窗口允许模型在一种工作记忆中保存更多文本，帮助它在冗长的聊天、长文档或代码库中跟踪关键细节。

三年前，4,000 个 token（包括单词和单词的一部分）的上下文窗口是常态。如今，行业正在转向 128,000 个 token 及更大的上下文窗口，这导致一些人预测 RAG 的终结。与其浪费一次 API（应用程序编程接口） 调用来让 LLM 通过 RAG 工作流检索和总结数据，你可以简单地将希望模型分析的信息粘贴到上下文窗口中。

其他人坚持认为 RAG 在一段时间内仍将具有相关性。与其他研究一致，研究人员表明 LLM 和人一样会经历信息过载。将过多信息塞入上下文窗口，性能可能会受到影响。RAG 仍然是搜索包含数百万文档的数据库或评估矛盾信息并生成更准确响应的最佳方式。

下一步是什么

研究人员计划添加句子级引用，以便用户在检索到的一组段落中需要扫描的信息更少，从而判断 AI 生成的响应是否准确。他们还计划用新的知识领域来扩展数据集。

LLM 通常在训练结束时对问答对进行微调或对齐，以提高其对话技能。除了在复杂 RAG 任务上测试 LLM 能力外，MTRAG 还是对齐数据的宝贵来源，IBM Research 计划将其纳入未来的 Granite 版本中。

“该数据集是为了模拟真实世界的对话而创建的，因此我们希望它能使我们的 Granite 模型对客户更加有用，”Rosenthal 说。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/conversational-RAG-benchmark