ITPub博客

首页 > 人工智能 > 人工智能 > Agent 是不可预测的:当生成式服务学会“不越界”

Agent 是不可预测的:当生成式服务学会“不越界”

人工智能 作者:danny_2018 时间:2026-11-20 17:53:00 0 删除 编辑

过去两年,围绕 Agent(智能体)的讨论大多集中在“它能做什么”:能调用多少工具、能自主规划多长的任务链、能在多复杂的环境里替代人完成操作。但企业真正把 Agent 放进生产系统之后,问题很快从“能力够不够”转向了另一个方向——它会不会做出我没授权的事。

这不是对模型能力的怀疑,而是对系统边界的重新认识。一个生成服务的 Agent,本质上是一个概率性的决策组件:同样的输入,它可能给出不同的工具调用序列、不同的参数、不同的执行路径。这种不可预测性正是它的价值来源,也是它最大的风险来源。于是有一条设计原则正在被越来越多团队接受:Agent 不该知道它有权访问哪些客户记录,也不该决定自己需要多少容量。

这句话听起来像是限制,实际上是把 Agent 放回它该在的位置。

不可预测是 Agent 的固有属性,不是待修复的缺陷

概率性决策决定了它无法被“完全规定”

传统后端服务的可预测性建立在确定性逻辑之上:给定输入,代码路径是固定的,权限检查是显式的,资源预算是配置好的。而基于 LLM 的 Agent 不同,它的行为由模型推理产生,工具选择、参数填充、多步规划都带有采样带来的随机性。即便温度调到很低,也不能保证在开放任务上行为完全一致。

这意味着,任何把关键约束“交给 Agent 自己判断”的设计,本质上都是在用概率性组件承担确定性职责。依据现有素材判断,这类设计在演示环境里往往表现良好,因为任务简单、边界清晰;一旦进入真实业务,输入分布变宽、工具变多、状态变复杂,不可预测性就会被放大。

不可预测性在三个层面外溢

第一是权限层面。Agent 如果知道自己“可以访问哪些客户记录”,它就可能在某些推理路径下主动扩大检索范围,或者把本不该组合的数据组合在一起。它未必是“恶意”的,只是模型在追求完成任务时,倾向于使用它认为可用的资源。

第二是资源层面。让 Agent 自己决定需要多少容量,等于让它同时扮演需求方和供给方。模型没有对集群负载、成本预算、配额上限的真实感知,它的“估算”只是文本层面的推断,无法作为调度依据。

第三是行为层面。多步任务中,每一步的偏差会累积。单步看起来合理的工具调用,串起来可能形成一条没人设计过的执行链。

结论:不可预测要被“容纳”,而不是被“消灭”

试图通过更长的 Prompt、更严的指令来消除不可预测性,收益递减且不可验证。更现实的做法是:承认 Agent 的行为空间是开放的,然后用外部机制把它的行为约束在安全范围内。这正是下一节要谈的架构思路。

权限不该由 Agent 知道:把授权从“认知”移到“执行”

“知道权限”本身就是一种风险面

一个常见的错误设计是:把可用数据源的清单、客户记录的访问范围、工具的白名单,作为上下文直接告诉 Agent,让它“在权限内行事”。这看似透明,实则把授权判断变成了模型的认知负担。

问题在于,一旦权限信息进入模型的上下文,它就成了模型推理的一部分。模型可能误读、可能过度泛化、可能在多轮交互中被诱导重新解释这些边界。更关键的是,知道权限范围和遵守权限范围是两件事,前者不能保证后者。

正确的位置:授权在执行层,不在推理层

更稳妥的架构是把权限判断下沉到 Agent 之外:

Agent 只表达意图,例如“我需要查询某类客户信息以完成当前任务”;

由独立的授权服务根据调用方身份、任务上下文、数据分级策略,决定是否放行、放行哪些字段、放行多少条;

Agent 拿到的是授权后的结果,而不是权限清单本身。

这样,Agent 不需要知道“我有权访问哪些客户记录”,它只需要知道“我提出了一个请求,系统给了我一个结果”。它不该知道边界在哪,边界由系统在它之外执行。 这也符合最小权限原则的原始含义:不是让主体理解权限,而是让系统强制权限。

这一转变带来的工程收益

把授权外置之后,权限策略可以独立演进、独立审计、独立测试,不必随 Prompt 或模型版本变化而重新验证。对于受监管行业,这一点尤其重要:审计人员需要看到的是确定性的策略执行记录,而不是一段模型推理文本。依据现有素材判断,这也是 Agent 从“能用”走向“可上线”的关键分水岭。

容量不该由 Agent 决定:需求表达与资源供给必须分离

Agent 没有做容量决策所需的信息

让一个生成服务的 Agent 决定自己需要多少容量,混淆了两个角色:需求提出者和资源分配者。Agent 能看到的是当前任务的文本上下文,它看不到集群的实时负载、看不到其他租户的配额、看不到成本曲线和 SLA 约束。它给出的“我需要更多并发”只是一个语言层面的估计,不具备调度所需的任何依据。

更危险的是激励错位:如果 Agent 能影响自己的资源供给,那么在任务受阻时,“申请更多容量”会成为一个廉价的推理捷径,而不是去优化任务本身。

分离后的职责划分

合理的做法是把这条链路拆成三段:

Agent 表达需求特征:当前任务的类型、预期交互轮次、是否需要长上下文、对延迟的敏感程度等,用结构化字段描述,而不是直接要“多少核多少内存”。

调度与配额系统做决策:结合全局负载、租户配额、优先级策略、成本上限,决定实际分配。这部分是确定性系统,可预测、可审计、可回滚。

反馈闭环回到 Agent:Agent 收到的是“当前可用资源下的执行结果”,而不是“资源谈判的筹码”。

这样,Agent 的不可预测性被限制在任务执行层面,不会外溢到资源层面。容量决策回到确定性系统手里,Agent 回到它擅长的语义理解与工具编排上。

为什么这对生成服务尤其重要

生成服务的资源消耗具有突发性和长尾特征:一次长上下文推理、一次多轮工具调用,资源占用可能远超预期。如果容量由 Agent 自主决定,成本会变得难以预测,多租户隔离也会被侵蚀。把容量决策外置,是让生成服务具备成本可预期性的前提。

趋势判断:Agent 的下一阶段竞争在“边界工程”

从行业走向看,Agent 的能力竞赛正在让位于边界工程的竞赛。模型能调用多少工具,很快会变成同质化能力;真正拉开差距的,是谁能把不可预测的推理组件安全地嵌进确定性系统。

这带来三个可预期的方向:

授权与推理解耦会成为企业级 Agent 平台的标配能力,权限不再写进 Prompt,而是由策略引擎在执行层强制。

资源决策回归调度系统,Agent 只输出结构化的需求特征,容量、配额、成本由确定性系统统一裁决。

可审计性成为硬指标,每一次工具调用、每一次数据访问、每一次资源分配,都需要留下确定性记录,而不是依赖模型自述。

需要说明的是,依据现有素材判断,这些方向目前更多是架构原则层面的共识,具体产品化和标准化程度因团队而异,尚无统一的实现范式。但原则本身已经足够清晰:不要让概率性组件承担确定性职责。

结论

Agent 是不可预测的,这不是需要掩盖的缺点,而是需要在架构上被正视的前提。一个生成服务的 Agent,不该知道它有权访问哪些客户记录——授权应由执行层强制;也不该决定自己需要多少容量——资源应由调度系统裁决。

把这两件事从 Agent 的认知范围里拿走,不是削弱它,而是让它专注于真正擅长的事:理解意图、编排工具、生成结果。边界之内,才谈得上自主。 对企业而言,能否把这条边界工程做扎实,很可能决定 Agent 是从演示走向生产,还是停留在演示。


生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/31547898/viewspace-3189761/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2018-07-30

  • 博文量
    1733
  • 访问量
    2964798