IBM 院士 Kush Varshney 解释了 IBM Research 如何应对生成式 AI 不断演变的安全风险。

在 ChatGPT 成为家喻户晓的名字之前数年，Kush Varshney 就已经在思考基于海量数据训练的 AI 模型可能出现的失范行为。他与 IBM Research 的同事一起，帮助构建了科技行业首批用于减少 AI 驱动应用（从招聘到贷款）中算法偏见和危害的工具。

如今，生成式 AI 在放大偏见、隐私、安全以及大规模制造虚假信息等旧有担忧的同时，也引入了新的问题。作为 IBM Research 以人为本的可信 AI 研究负责人，Varshney 带领一支由设计师、科学家和工程师组成的团队，试图预判并缓解所有可能出错的环节。

这是忙碌的一年。该团队的 Granite Guardian 模型在首个独立基准测试中占据了前十名中的六个席位，该基准测试评估 AI 分类器检测有害 AI 输入和输出的能力，同时该模型已在 IBM watsonx.governance Guardrails 中提供。团队还在 Git Hub 和 Hugging Face 上发布了三个新项目，与 NIST 的映射、测量和管理框架保持一致，用于缓解 AI 风险：

映射：AI Risk Atlas Nexus 编目了现有和新兴风险，并链接到 NIST、MIT 等机构创建的分类体系。Nexus 还包含一个聊天界面，供用户探查特定用例的安全风险。

测量：最近，团队推出了 ICX360，一个用于理解大语言模型输出背后“思考”过程的工具。

管理：团队正在积极研究推理时的可引导方法，以塑造大语言模型的行为。

我们最近采访了 Varshney，谈论 AI 安全的未来。完整采访可在此处观看。

IBM 的技术有何独特之处？

Risk Atlas Nexus 背后有一个知识图谱，让我们能够以全面、有原则的方式理解风险。我们可以引入新风险，并进行各种高级推理，例如找出风险维度之间的多步关联。还有一个自然语言界面，帮助那些不擅长风险分类体系的用户理解其 AI 应用可能出什么问题。它代表了 IBM OpenPages 中风险问卷的演进。

ICX360 采用数学方法实现可解释性。人们可能会尝试通过思维链推理等方法询问模型本身，来弄清楚大语言模型为何做出某种回应。但那种解释本身也可能是幻觉。使用 ICX 方法，你可以亲眼看到提示中哪些词导致了模型的输出。

AI Steerability 将十几种引导方法汇集在一处，这很好，但最大的优势在于它们针对生命周期的不同部分——提示、模型内部权重和状态，以及输出文本时的解码步骤。我可能想将模型推向某个方向，但不确定提示、微调还是解码是最佳方式。该工具包让你能够进行同类比较。

该工具包让你能够针对完全相同的期望行为测试所有不同的引导方法。这是一种通过实证确定哪种引导方法最适合你的用例和模型的方式。

某些引导方法是否普遍更有效？

这始终取决于数据、期望行为以及底层大语言模型。即使在传统机器学习中，你也永远不能说最好总是使用决策树、支持向量机或神经网络。这始终取决于数据的特征。

人们过去经常谈论对齐大语言模型以控制它们。引导有何不同？

在我看来，对齐是目标，而引导是我们实现它的方式。对齐是最终产物，所以人们需要另一个词。微调太有限了。它无法涵盖控制模型行为的所有方式。如果你想一想，一辆没有方向盘的汽车只能直线行驶，仅此而已。为了有用，AI 模型应该能够被“引导”，以便它可以按期望的风格生成文本、将事实性主张归因于来源，或避免输出有害内容。

构建这些工具时最大的挑战是什么？

这个领域发展得太快，知道该包含什么、排除什么，以及不在文献中迷失方向，是一个巨大的挑战。

提示是最便宜的，微调和激活引导更复杂，解码则介于两者之间。

我们上次谈论 AI 治理时，你的团队已经识别出 39 种与生成式 AI 相关的不良行为。两年后，这个列表翻了一番，超过 80 种。发生了什么变化？

哪种智能体 AI 风险最让你担忧？

如果 AI 智能体完全接管任务，人类可能会失去自身的能动性。这将对人类发展、尊严和繁荣不利。想想直升机父母。由于过度介入孩子的生活，他们可能会阻止孩子学会独立思考和行动。我们不希望 AI 变成直升机父母。

例如，如果人类放射科医生和 AI 系统一起阅读医学影像，放射科医生的能动性可能会被削弱。在协作头脑风暴会议中，也存在 AI 可能忽视人类贡献的想法的风险。如果发生这种情况，人类将停止贡献，这可能会减缓创新。我们已经在 AI Risk Atlas 中编目了其他风险，但人类能动性的丧失是我最关注的。

AI steering 如何与 generative computing 相结合？generative computing 是 IBM Research 的一项计划，旨在构建生成式 AI，使其行为更像传统软件。

Steering 方法属于推理时干预（inference-time interventions）的范畴，即 IBM Research 为 generative computing 开发的“intrinsics”。例如，一个 intrinsic 可以通过优化提示（optimized prompt）、专用适配器（specialized adapter）或某种形式的激活引导（activation steering）来防止 AI 智能体通过优化提示夺取人机协作的控制权。甚至还可以有某种功能，能够为特定用例自动选择最佳的 steering 方法。

我们目前的主要任务是思考如何将我们创建和整理的信任与透明度工具转化为 generative computing 和 Mellea 的 intrinsics。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/map-measure-manage-gen-ai