
AWS 的新决策模型带着一个熟悉的地址而来。10 月 1 日发布的 Strands Decider 2B 是一个基于阿里巴巴 Qwen3.5 构建的开放权重模型。但将其作为服务器运行时,它会在 /v1/systemone 上响应——这与初创公司 TypeSafe AI 在两周多前随 Jev 一同推出的端点完全相同。
在三周内,决策模型从一家初创公司的实验变成了一个品类。OpenAI、Upstage、Perplexity 和 Cloudflare 提供托管决策模型,而 AWS 和独立开发者已在 Hugging Face 上发布了开放权重。标准化最快的是 TypeSafe 的 schema——即请求和响应的结构——即使供应商在自己的 URL 和端点下发布它。
大语言模型(LLM(大语言模型))开发者见证过类似的过程。OpenAI 的 Chat Completions API 成为 LLM 的默认接口,因为众多提供商克隆了它。OpenAI 后来推出了 Open Responses,这是一个基于其 Responses API 的开放规范。这段历史暗示了一种可能的轨迹,而非已成定局的结果。
决策模型接收应用程序状态,例如客户消息和相关政策,以及一组带类型的问题。它返回结构化答案,每个选项附带一个概率,并且从不撰写散文、代码或对其推理的解释。TypeSafe 将 Jev 称为 System One 模型,借用了心理学家 Daniel Kahneman 普及的术语,用于描述快速、直觉的判断。
System One API 将每个决策归结为三种问题类型。选择题从列表中选择一个选项,评分题将输入置于有序评分标准上。noul(是/否)问题返回一个是非条件成立的概率,开发者可以在一个请求中混合使用所有三种类型。
Jev 还返回一个置信度值,团队常将其误认为答案正确的概率。TypeSafe 的文档解释说,置信度衡量的是概率分布的集中程度,并建议团队根据自己的数据设定阈值。校准是在大量决策中衡量的,因此高置信度值永远不能保证单个答案是正确的。
将决策模型视为 AI 应用程序的 if 语句。LLM 可以对支持工单进行分类,但它通过生成 token 来实现,并且对其确定性报告得较为模糊。决策模型则向应用程序提供一个可用于分支的概率,且耗时仅为前者的一小部分。
决策模型与 LLM 协同工作。LLM 负责规划、撰写和调用工具,而决策模型处理智能体在这些步骤之间做出的许多小判断。
想象一个处理退款请求的支持智能体。LLM 起草一封给客户的通俗语言回复。对决策模型的一次调用即可选择队列、评估客户的沮丧程度,并估计退款政策是否适用。Jev 发布后几天内就出现了三种模式。
OpenRouter 于 9 月 25 日推出 Jev Router,为每个传入请求选择模型和推理强度。该决策模型充当调度器,将昂贵的大语言模型(LLM)保留给需要它们的请求。
Strands Decider 仓库附带了一个示例,它挂接到 Strands Agents 的 before_tool_call 事件。它通过两个是/否决策对天气工具调用进行门控,因此智能体(Agent(智能体))会询问用户所在城市,而不是猜测。AWS 报告称,在模型未见过的短分类任务上,置信度为 0.9 或更高的答案正确率约为 95%。
Maxim AI 的 Bifrost 网关在 Jev 不可达时将决策路由到 LLM。它通过提供商的 Responses API 模拟该决策,并以与 Jev 相同的格式返回答案。
这些模式展示了该抽象为何有用。随着竞争对手复制它,TypeSafe 的 API 成为了一份共享契约。
第一类采用者直接实现 TypeSafe 的端点。Upstage 通过 System One schema 提供 Solar Decide,而 Ollama 在 0.35 版本中添加了 /v1/systemone 端点,明确基于 TypeSafe 的 API。Strands Decider、Jared Palmer 的 Kev 以及 Zefan Cai 社区构建的 Open-Jev 暴露了相同的接口,Ollaya 和 SGLang 等本地运行时也是如此。
第二类采用者保留语义并更改地址。OpenRouter 为 Jev 提供的原生接口是其自己的 Decisions API。它还提供了一条与 TypeSafe 兼容的路由,因此现有的 SDK(软件开发工具包) 客户端可以通过更改 base URL 来切换提供商。据报道,Venice 通过其自己的 beta decisions 端点提供 Jev。Perplexity 的 Decisions API 支持相同的 choice、noul(是/否)和 score 问题类型,尽管它使用了不同的路径。
OpenAI 在大型供应商中仍是异类。它在 DevDay 上以基于 GPT-6 Luna 专门版本构建的 Decisions API 回应了 Jev。该服务仍处于有限预览阶段,没有发布 schema 或定价。
实际结果是代码级可移植性。只要更改 base URL,TypeSafe 的 SDK 就能对任何实现 System One API 的服务器工作。因此,针对该契约编写的应用程序可以从托管的 Jev 迁移到本地的 Strands Decider,而无需重写其决策逻辑。服务器在选项限制、置信度计算方式以及答案质量方面仍然存在差异,因此切换仍需测试。
简而言之,TypeSafe 正在赢得 schema 之战,而端点之战仍未结束。
OpenAI 的 Chat Completions API 提供了最接近的先例。vLLM、Ollama、OpenRouter 以及数十个其他服务器都克隆了它,直到它成为调用 LLM 的默认方式,无论模型由谁训练。OpenAI 后来将自己的平台迁移到了 Responses API。2026 年 1 月,它推出了 Open Responses,这是一个基于该设计的开放规范,OpenRouter、Hugging Face、LM Studio、vLLM、Ollama 和 Vercel 作为发布合作伙伴。Simon Willison 指出,他更希望有一个基于 Chat Completions 的标准,正是因为已经有太多产品克隆了它。
这一先例为决策模型带来了两个教训。第一,语义形态会在任何正式治理之前传播开来,正如 System One 目前所经历的那样。第二,定义该形态的公司最终必须将其开放。否则,生态系统会漂移出兼容的变体,例如 OpenRouter、Venice 和 Perplexity 已经在运行的决策路径。
差异与相似之处同样重要。Chat Completions 标准花了数年才稳定下来,涵盖了消息角色、流式传输和工具调用,所有这些都有大量应用代码支持。System One 涵盖三种问题类型,且问世不到一个月,因此很容易克隆和分叉。如果 TypeSafe 将 System One 作为开放规范发布,它可以走 Open Responses 的路线。如果 OpenAI 发布不同的模式,该类别将承载两个相互竞争的契约。
托管服务提供按 token 计费的托管端点,而开放权重模型在团队自己的硬件上运行,并将敏感的应用状态保留在网络内部。Jev 仍然是托管侧的参考实现,尽管 TypeSafe 尚未披露其规模或基础模型。Upstage 基于 Solar Mini 4 构建了 Solar Decide,这是一个混合专家(MoE)模型,总参数 350 亿,活跃参数 30 亿。
Perplexity 以混合方法横跨两个阵营。它于 10 月 1 日发布了 pplx-decider,采用 Apache 2.0 权重和托管 API,随后于 10 月 6 日发布了 1.1 版本。新的模型卡报告 Decision Index 为 61.56,高于 56.4。Perplexity 将大部分提升归功于解除因果掩码和在更多数据上训练。
大多数首批基于解码器的开放实现都使用 Qwen3.5,包括 Strands Decider、较小的 Open-Jev 模型以及前三个 Kev 规模。生态系统已经在向该基础之外扩展,Kev-27B、Open-Jev-27B 以及 Perplexity 的模型基于 Qwen3.8 构建,Convai Innovations 的 Laya 基于 ModernBERT 编码器构建。Palmer 报告称,将 Kev 移植到 Qwen3.5 大约花费了 95 美元的 H100 时间。
许多开放实现完全避免自回归解码。它们用一个小型读出层替换语言模型头,在一次前向传播中为可用选项打分。AWS 报告称,19 亿参数的 Strands Decider 在 RTX 3090 上每个问题的中位耗时为 115 毫秒。
下表反映了截至 2026 年 10 月 7 日的市场情况。
| 模型 | 制造商 | 部署方式 | 权重 | 基础模型 | 规模 | API | 已发布评估(来源) | | --- | --- | --- | --- | --- | --- | --- | --- | | Jev 1.13 | TypeSafe AI | 托管(TypeSafe、OpenRouter、Venice) | 闭源 | 未披露 | 未披露 | System One(原生) | JevBench v1.5.4,第三名,72.13 | | Decisions API | OpenAI | 托管,有限预览 | 闭源 | GPT-6 Luna | 未披露 | 自有 API,模式未发布 | 无已发布 | | Solar Decide | Upstage | 托管(Upstage、OpenRouter) | 闭源 | Solar Mini 4 | 35B MoE,3B 活跃 | System One | 无已发布 | | pplx-decider v1.1 | Perplexity | 托管和自托管 | Apache 2.0 | Qwen3.8-27B | 26B | 自有 Decisions API | Hugging Face Decision Index,61.56 | | Strands Decider 2B | AWS | 自托管 | Apache 2.0 | Qwen3.5-2B | 1.9B | System One | AWS 在 JevBench 公开集上运行,0.723 | | Kev | Jared Palmer | 自托管 | Apache 2.0 | Qwen3.5、Qwen3.8 | 0.8B、4B、9B、27B | System One | 作者测试集,Kev-9B 为 0.837(锁定测试);Jev 0.857 对 Kev-9B 0.812(开发集) | | Open-Jev | Zefan Cai | 自托管 | 已发布适配器和决策头(MIT 代码) | Qwen3.5、Qwen3.8 | 2B、9B、27B | System One | 作者在 JevBench 公开子集上运行,27B v1.1 为 85.28%(231 中 197) | | Laya | Convai Innovations | 自托管 | Apache 2.0 | ModernBERT | 322M 至 421M | System One | JevBench v1.5.4,已追踪但尚未公开排名 |
评估列混合了独立基准与供应商和作者测试集,因此它并不构成单一的排行榜。Florian Standhartinger 和贡献者在 MIT 许可证下维护 JevBench,它是最接近中立评分的东西。其 v1.5.4 排行榜追踪了 112 个决策系统,将 Jev 排在第三,仅次于 blockbrain 的 Cygnet 和开放权重的 Winnow-12B。
决策模型直接根据其答案采取行动,这提高了对鲁棒性的要求。南加州大学的一位研究人员发现,一个优化器可以改变 508 个最初正确的 Jev 决策中的 61.4%。它通过添加简短、看起来自然的上下文,将模型推向选定的错误答案。该搜索对每个项目最多使用 64 次被接受的评估,而成功添加内容的中位长度为 31 个词。
这个数字是对抗性定向翻转率,而不是普通上下文会导致 Jev 失败的概率。尽管如此,在同一项研究中,一个基于 Qwen 的开源模型翻转率为 72.6%,这表明弱点在于这一类别,而不是某个单一供应商。平台团队应将置信度阈值视为若干控制措施之一,尤其是当应用程序状态包含用户提供的文本时。
在 OpenRouter 上,Jev 的价格为每百万输入 token 0.042 美元,输出不收费。Perplexity 将其托管的 v1.1 模型定价为每百万输入 token 0.02 美元。这使得路由或策略检查远比一次等效的 LLM 调用便宜。自托管的开放权重模型用基础设施和运营成本取代按 token 计费的 API 费用,这种权衡有利于每小时做出数千次决策的流水线。
对企业而言,共享契约还带来第二个好处。治理和采购团队可以批准一种集成模式,然后在准确性、价格和数据驻留要求变化时更换后端。这使企业客户拥有比一个由互不兼容端点构成的市场更强的谈判地位。
同一契约也使供应商的接口商品化。TypeSafe 现在必须在模型质量和校准上取胜,因为开发者可以通过编辑 URL 将 Jev 替换为 Strands Decider 或 Kev。OpenAI 和 Perplexity 面临不同的压力,因为专有 schema 要求开发者编写集成代码,而生态系统中很大一部分已不再需要这些代码。
System One 已成为决策模型领先的互操作性契约,并拥有来自 AWS、Upstage、Ollama 和开源社区的线上兼容实现。一旦发布,OpenAI 的 schema 将决定这一类别是围绕一个契约整合,还是分裂为两个。
决策模型正在成为 LLM 旁边一个可移植、低成本的判断层。开发者是否信任它来把关真实操作,将较少取决于 API 趋同,而更多取决于校准和鲁棒性。团队围绕这些概率构建的保障措施同样重要。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:The New Stack
原文作者:Janakiram MSV;如有侵权,请联系管理员删除。