使用 AI 模型可能伴随风险，但 AI 在标记和规避这些风险方面也正变得越来越智能。

当 IBM Research 去年发布其 Granite Guardian 模型时，团队认为它们是当时检测生成式 AI 相关广泛风险的最强大工具。如今，首个独立评估所谓 AI“护栏”模型的基准测试显示，Granite Guardian 位居榜首。

IBM Granite Guardian 模型在新的 GuardBench 排行榜前 10 名中占据了 6 个席位，这是首个第三方衡量 AI 分类器在标记有害或恶意提示以及 LLM 生成响应方面表现的基准。排名前三的模型——Granite Guardian 3.1 8B、Granite Guardian 3.0 8B 和 Granite Guardian 3.2 5B——也获得了公众的广泛认可，在开源 AI 模型中心 Hugging Face 上的下载量已接近 36,000 次。

GuardBench 由欧盟委员会联合研究中心的研究人员创建，包含 40 个数据集，其中 5 个是全新的。除了是首个用于测试 AI 安全性的独立基准外，它还是首个将测试问题扩展到英语之外的基准，提供法语、德语、意大利语和西班牙语的测试。

Granite Guardian 此前已在多种公开数据集上表现突出。GuardBench 的结果进一步证实了这些模型的能力，包括在模型未明确训练过的语言上的表现。“我们仅用英语数据训练了 Granite Guardian，”领导该项目的 IBM 研究员 Prasanna Sattigeri 表示。“我们表现如此出色，说明我们一开始就拥有一个强大的多语言 Granite LLM。”

排名前四的 Granite Guardian 模型在 GuardBench 的 40 个数据集上得分分别为 86% 和 85%。相比之下，仅有的另外两家进入前 10 的公司 Nvidia 和 Meta，其护栏模型得分分别为 82%、80%、78% 和 76%。

研究人员去年 11 月在 EMNLP 上发布了 GuardBench，这是顶级自然语言处理会议。由于他们的论文在 IBM 发布 Granite Guardian 模型之前就已发表，上周上线的 GuardBench 排行榜是对 IBM 模型的首次公开验证。

“我们并不感到意外，但很高兴看到它们在我们尚未测试过的基准上泛化和表现如此出色，”参与开发 Granite Guardian 团队的 IBM 研究员 Inkit Padhi 表示。

全面的解决方案

Granite Guardian 被设计为可与任何 LLM 配合运行，无论其权重是开放的还是专有的。这些模型还根据 IBM 的 AI Risk Atlas 进行训练，以标记社会偏见内容、仇恨、辱骂或亵渎（HAP）语言，以及用户试图‘越狱’或绕过 LLM 安全控制的任何尝试。

与许多其他护栏模型不同，Granite Guardian 还被训练用于检测可能包含不正确或误导性信息的‘幻觉’响应，包括在检索增强生成（RAG（检索增强生成））应用中。这些模型可以匹配专门的幻觉检测器的性能，并通过 build-your-own-detector 提示针对其他风险维度进行定制。

“没有其他单一的防护模型能如此全面地覆盖各种风险和危害，”IBM 院士 Kush Varshney 在 LinkedIn 上表示。

团队将 Granite Guardian 的大部分能力归功于其训练数据的质量。研究人员聘请了来自不同背景的人员来标注不良内容的示例。他们还纳入了在旧版 Granite 语言模型上进行内部红队演练时生成的合成数据。

速度是防护栏模型能否成功的决定性因素之一。当大语言模型可能正在生成数百万个词时，实时过滤不良内容可能会带来用户不愿容忍的额外延迟。

在这方面，Granite Guardian 系列同样表现出色。IBM 研究人员开发了多个轻量级变体，为用户提供更多灵活性。今年早些时候发布了仅专门用于 HAP 检测的过滤器。研究人员还通过识别和剪枝冗余层，将 Granite Guardian 8B 模型精简至 5B。

这一干预措施将推理速度提升了 1.4 倍，且没有任何精度损失。5B 模型（目前在 GuardBench 上排名第 3）还引入了新功能，包括能够在多轮对话中标记有害评论，并表达其回复的确定性程度。

Granite Guardian 系列在 Hugging Face 上以 Apache 2.0 许可证提供，也可通过 IBM 的 watsonx AI 平台获取。这些模型的最新量化版本也可在 Hugging Face 上获取。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/granite-guardian-tops-guardbench