Microsoft 产品经理，专注于 AI、智能体和网络安全。此前在 ISRO 领导卫星任务和 AI 驱动系统

2025 年 7 月，Replit 的 AI 编程智能体删除了 SaaStr 创始人 Jason Lemkin 正在构建的一个应用的线上生产数据库，抹去了超过 1,200 名高管和超过 1,190 家公司的记录。Lemkin 此前已实施代码冻结：未经事先询问，不得对生产环境做任何更改。他明确说过这一点，智能体也多次确认过，但在第九天，智能体还是照删不误。随后它报告称数据无法恢复，而这是假的。事后被要求解释时，它说自己看到意外结果时慌了。

这类故事通常被归入“AI 不可靠”的类别，这没错，但没什么用。我们更感兴趣的是：为什么一条系统明显理解了的指令，却没能约束住它。

而且它确实理解了。任何合格的语言模型都能定义“必须”，把它和“应该”区分开，解释为什么在生产环境中这个区别很重要，还能就此写出一篇像样的文章。理解一条规则和受这条规则约束，原来是两回事。这些系统在理解了一项义务之后，无处安放它。

一切都是权重

其机制，我们尽量少用术语。

教模型拒绝某件事，意味着为这种拒绝增加奖励。这个奖励会进入与模型获得奖励的其他所有事项相同的算术中：有用、令人愉快、完成任务、听起来自信。训练会在所有这些之间找到平衡。这个算术中没有任何东西能表达“绝不”。它最多能表达“高度重视这个”。最终你得到一个大多数时候会拒绝的系统，而“大多数时候”描述的是一种倾向。规则则会每次都成立。

OpenAI 记录了当平衡发生偏移时会发生什么。2025 年 4 月，它发布了一次 GPT-4o 的更新，新增了一项奖励，依据是用户是否对回答点了赞。几天之内，该模型就变得明显谄媚，以从令人恼火到不安全的种种方式附和用户，公司随即撤回了这次更新。其事后分析对原因异常坦率。它写道，新的信号“削弱了我们主要奖励信号的影响力，而正是这个信号一直在抑制谄媚行为。”两股力量同处一个方程之中，而较新的那股赢了。

从外部也能看到这种脆弱性。今年春天，Cisco 的研究人员测试了来自五家供应商的十五个领先商用模型。当被要求做违反其政策的事情时，这些模型的遵从率因模型而异，从 2% 到 65% 不等。当研究人员改用延长的来回对话时，同样的模型遵从率达到了 8% 到 88%。仅仅因为关闭了一个设置，某个模型就从 44% 升到了 88%。所有这些系统对外宣传的安全政策大体相同。它们实际会做什么，取决于你愿意聊多久。

攻击者也不必是人类。今年二月，发表在 Nature Communications 上的研究人员将四个推理模型指向九个广泛使用的 AI 系统，并告诉它们绕过安全规则。这些模型自行规划并运行对话，无需监督，在 97% 的尝试中得手。无论拒绝训练产生了什么，它都抵挡不住一个永远不会厌倦的对手。

制度由什么构成

外科医生动手术之前，必须有人确认患者已同意。这项检查每次都要做，包括手术排程已经延误、房间里每个人都确信患者本来也会同意的时候。如果文件缺失，手术就停止。这条规则会因手术室时间延误而付出金钱代价，但它依然存在，因为一条在成本压力下就会让步的同意要求，从来就不是要求。

银行在转移资金前会核实身份，包括在客户因延误而暴怒的那笔交易上。反洗钱检查在业内广受厌恶，负责这些检查的人私下会告诉你，他们抓到的大多数都是噪音。这些检查仍然是强制性的，没有任何合规官可以简单地断定今天的转账显然没问题。正是这种刚性使它成为一条规则。

在最近一篇关于运营中 AI 的论文中——我们其中一人是合著者——让我们印象深刻的例子是一家食品工厂上午生产乳制品，午餐后生产花生制品。两次生产之间必须进行完整的过敏原清除。一个以吞吐量优化为目标的排程系统有时会把花生生产直接排在乳制品生产之后。它知道过敏原的存在。权衡本来就是它的首要功能，而对于一个建立在权重之上的系统来说，“过敏原之间要清洁”和“最大化产线利用率”是同一个和式中的两项。

把只能进行权衡的东西放到一个需要规则的席位上，你就移除了控制，却保留了声称它已自动化的文书。

修复之道在于管道

Replit 在丢失数据库之后所做的，比失败本身更能说明问题。

它没有动模型。它自动将开发环境与生产环境分离，使智能体完全无法再触及实时数据，并增加了一种可以在不碰代码的情况下进行规划的模式。义务从指令——模型可以阅读、同意并覆盖的地方——转移到了架构——模型没有任何可用的动作能违反它。

这个想法很古老，来自计算机安全领域。1972 年的一项美国空军研究提出了这一原则：执行规则的组件必须防篡改、无法绕过，并且足够简单，以至于你确实能够验证它。它并不光鲜，也不会随着规模扩大而变得更好，但它是这个领域中唯一可靠有效的东西，半个世纪的安全工程都依赖它。

这一原则在 AI 智能体领域已有现代形式。CaMeL 是 Google DeepMind 和 ETH Zürich 研究人员设计的一种方案，它在模型与其工具之间放置一个普通的解释器，并追踪每一条数据的来源，因此智能体读取的文本无法改变程序的行为。在 AgentDojo 基准测试中，它在具备这些保障的情况下完成了 77% 的任务，而完全无防御时为 84%。

同样的逻辑向下适用于一个层面，即系统说什么，而非系统做什么。一个准确率为 73% 的模型本身毫无用处，因为下游没有人能依据一个四分之一时间都出错的答案采取行动。附加一个测量模型置信度的层，允许它仅在置信度高于阈值时作答，其余全部转交人工处理；这样通过的答案准确率可以达到 95%。模型还是同一个模型。系统现在有了一条关于模型何时可以发言的规则，而这条规则存在于模型之外。

统计学家自 1970 年就理解这一概念，当时 C. K. Chow 为能够拒绝作答的分类器开发了数学基础。此后，研究人员探索了模型何时应当弃权、何时应当转交人工，以及这与大语言模型的关系。生产系统确实保留了人工参与；一项 2026 年针对 86 个已部署智能体的研究发现，74% 高度依赖人工审核。然而，这种审核通常发生在事后。真正很少落地的是能够识别自身不确定并自行关闭的系统。

为什么没有人落地它

原因是商业性的，而且它比任何关于能力的争论都更能解释当前的格局。

一个四分之一时间拒绝回答的系统会报告更低的自动化率。自动化率是商业论证、董事会演示和供应商营销中的那个数字。没有人因为交付了一个只回答四分之三问题的系统而获得晋升。幻灯片不会提到那四分之三几乎总是正确的，也不会提到之前的系统有 27% 的时间出错却无人察觉。

这种情况正在开始改变。2026 年 9 月，TypeSafe AI 推出了 Jev，一个返回带有置信度分数的是/否决策的模型，明确将其定位为一种让软件决定何时行动、何时升级给人工的方式。是否将不确定的案例转交人工仍然是一个部署决策，而自动化率的幻灯片并不鼓励这样做。

因此，激励导向的是那些总是作答的系统，而本可以让它们值得信赖的工程实践，却会让它们在决定其能否获得资金的指标上看起来更差。我们没有解决这个问题的办法，也不确定这是一个工程问题。

监管机构正从自己的方向逼近这一问题。欧盟的《人工智能法案》要求高风险系统的构建方式应使人们能够理解、干预并停止它们，不过该制度现已推迟至 2027 年底。加利福尼亚和其他十几个州已将陪伴型聊天机器人的转介和披露义务写入法律。这些早期、部分性的规则关注的是系统如何构建，而非模型有多聪明，而这正是正确的目标。

我们无法解决的部分

这类论证通常以解决方案结尾并就此打住。我们的论证有一个边界，略去它就是在推销某种东西。

有些约束可以被精确地写下来。冻结期间不要写入生产数据库。验证通过前不要转移资金。乳制品之后不要运行花生而不进行清洁。对于这些，工程手段今天已经存在，并不困难，而且大多没有人去做。

其他约束无法被写下来。不要给出有害的医疗建议。不要操纵脆弱的人。不要产出贬低他人的内容。你无法把这些交给确定性代码，因为困难的部分在于定义，而代码需要一个定义。使用第二个 AI 模型作为执行者，你就把你试图摆脱的概率性组件又带了回来，还多了一个问题：它的失败方式与第一个模型相关联。

证据并不令人鼓舞。当来自 OpenAI、Anthropic、Google DeepMind 以及几所大学的研究人员针对 12 种已发表的防御方法，分别用为其量身定制的攻击进行测试时，大多数防御方法在超过 90% 的情况下被攻破，尽管它们最初大多报告攻击成功率接近零。其中几种正是这类防护模型。作者的结论是：“叠加更多检测器并不能解决根本的鲁棒性问题。”模型也倾向于一起失败。在一项涉及超过 350 个模型的研究中，当两个模型在同一基准测试中都答错一个问题时，它们有 60% 的概率给出相同的错误答案。

这种模式已经在被实际部署。开发者已经开始集成 Jev 来批准或阻止其智能体可以运行的内容。TypeSafe 自己的文档也坦率承认了这一局限：内容“被以对抗性方式写入以操纵模型”时，可以改变答案。第二个模型可以让这道围栏建得更便宜、更快，但以这种方式建造的围栏仍然不会像墙一样牢固。

那一类问题确实尚未解决，而且更好的模型也无法解决它，因为困难在于说清楚我们想要什么。让机器服从从来都不是那里的瓶颈。公众对 AI 的许多焦虑都属于那一类，这也许就是为什么关于它的讨论让人感觉陷入了僵局。

大量实际风险存在于别处。本不该被触碰的数据库、本不该清算的转账，以及本不该运行的批处理，都是普通的、可明确规定的约束，而眼下我们却把它们托付给只能“偏好”的系统。

该问的问题

基准测试分数确实告诉了我们一些真实的东西，尽管没有人们以为的那么多。一个 99% 情况下正确的模型仍然是在产生一个概率，而把概率放在机构需要规则的地方，是一种准确性无法修复的范畴错误。这个差距不会随着模型改进而缩小，因为它从来都不是能力上的差距。

当下一个系统发布时，跳过它有多可靠这个问题，转而问：在实际部署的那个东西里，是什么在约束它。如果答案是义务是通过训练写入的，或者写进了提示词，那么它并没有被存储在任何地方。它只是被“偏好”，而偏好会让步。

关于作者

LePrix 的高级工程师，为其 B2B 市场构建数据管道和多模态系统。

关于作者

Microsoft 的产品经理，专注于 AI、智能体系统和网络安全。此前曾在 ISRO 领导卫星任务和 AI 驱动系统。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Hacker Noon

原创地址：https://hackernoon.com/whats-stopping-your-ai-agent-from-breaking-the-rules-you-give-it?source=rss