Michelle Chen、Alex Reneau 和 Kevin Flansburg

过去几周，围绕 Typesafe AI 的 Jev System One 模型等决策模型，讨论热度很高。虽然分类器模型已经存在一段时间，但 Jev 将一种新的决策模型概念引入 AI 领域——一种能够以低成本、快速且一致的方式生成有界结构化输出的模型，可在需要做出决策时加入工作流。这些模型足够强大，能够处理任意输入集，而无需不断重新训练模型以纳入新的分类类别。这与大语言模型（LLM（大语言模型））领域形成对比：LLM 在很大程度上是非确定性的，但足够开放，能够进行推理，并为智能体工作负载生成文本和工具调用。

今天，我们发布两个由 Cloudflare 训练的决策模型：Clef 和 Clef-flash，托管在 Workers AI 上。在 Jev Decision Index 的评估中，Clef 目前处于领先地位，你可以在实时基准演示网站上查看完整结果。这些模型更智能、更快速，并且完全兼容 Jev API（应用程序编程接口），因此你可以轻松试用这些托管模型。我们根据 Apache 2.0 许可证在 Hugging Face 上完全开源这些模型，供你在本地运行并自行实验。

最后，我们很高兴推出新的强化学习（RL）产品，它允许客户微调 Clef，以适配其用例。

什么是决策模型？

决策模型基于某些概率进行分类，帮助智能体决定如何行动。例如，你可以传入一条客户支持消息（输入），并询问它是否紧急以及应由哪个团队处理。决策模型将返回带概率的类型化答案（输出），你的代码可以用它来路由工单、触发升级或转交人工处理。这意味着智能体决策不再一定需要人工介入——智能体可以通过编程方式收集上下文、做出决策并执行任务，或在需要时转交人工处理。

具体到 Cloudflare，我们一直在我们的威胁情报团队中测试新的 Clef 模型，以帮助我们分类网站域名。将一个域名交给 Clef（配合 Browser Run），它可以快速识别该域名所属的类别——例如，它可能以 95% 的概率将该域名分类为时尚网站、85% 为电子商务、<1% 为钓鱼网站等。我们的 Clef 模型获取、渲染并分类该网站耗时 2.2 秒。相比之下，我们最快的通用 LLM gpt-oss-120b 在同一工作流中耗时 4.7 秒，并且只返回了两个分类。作为用户，你可以想象延迟和结果上 2 倍的节省如何帮助我们改进威胁情报工作流，并更快识别恶意或合法域名。将其推广到任何需要快速做出程序化决策的用例，你就能解锁强大的智能体工作流，使其能够自主决策、推理并执行。

在音乐理论中，谱号（clef）是放置在乐谱开头的一种符号，用于为谱线和谱间分配特定的音高名称。决策模型类似于音乐谱号，因为它有助于定义上下文的领域以及随后出现的音符（动作）。我们选择 Clef 作为我们决策模型系列的名称，因为它具有类似的作用，而 CF 则呼应 Cloudflare。

Clef 与其他决策模型有何不同？

尽管市场上的决策模型日益饱和，但 Clef 具有一些独特属性，让我们很兴奋将其公开发布。首先，它有一个视觉编码器，因此能够接收图像并对视觉内容进行分类。这与 Jev 不同，后者目前只做文本分类。其次，我们的模型具有 64k 上下文窗口（相比 Jev 的 32k），允许用户塞入更多输入状态供模型分类。

第三，我们的模型准确且强大，在多项质量基准上与其他市场上的决策模型相比具有竞争力。我们根据 Jev Decision Index 的定义，筛选了一些对决策重要的评估，并对市场上一些更流行的模型进行了评分。请查看下表中的基准，或在我们的实时决策指数演示网站上查看分数：

| 基准 | Clef | Clef-flash | Jev | DiffusionGemma Jev | Kev 9B | Laya |
| --- | --- | --- | --- | --- | --- | --- |
| BFCL · case exact | 98.47 | 98.76 | 95.75 | 96.52 | 94.51 | 38.13 |
| ToolRet · nDCG@10 | 69.19 | 66.43 | 65.28 | 61.21 | 64.26 | 12.69 |
| API-Bank · accuracy | 91.93 | 93.11 | 88.19 | 83.66 | 56.30 | 11.41 |
| Home appliances · case exact | 82.95 | 97.73 | 52.27 | 42.05 | 25.00 | 0.00 |
| When2Call · accuracy | 72.37 | 65.58 | 80.97 | 75.44 | 49.62 | 11.94 |
| BANKING77 · macro-F1 | 94.20 | 90.93 | 79.74 | 74.28 | 84.83 | 14.29 |
| CLINC150+OOS · macro-F1 | 97.43 | 66.77 | 89.27 | 83.49 | 79.03 | 3.19 |
| BRIGHT · nDCG@10 | 45.91 | 39.26 | 47.52 | 42.94 | 38.53 | 19.90 |
| Amazon ESCI · macro-F1 | 57.48 | 57.39 | 55.21 | 53.37 | 49.22 | 24.40 |
| PhishNChips · accuracy | 79.60 | 75.05 | 62.55 | 85.35 | 50.75 | 50.15 |

我们还在 Typesafe 自己的评估套件上运行了基准测试，我们的 Clef 模型表现良好，在 4 个领域中的 3 个击败了 Jev。值得注意的是，考虑到 Clef-flash 的速度快得多，它的表现异常出色。

| 工作流 | Clef | Clef-flash | Jev |
| --- | --- | --- | --- |
| 发票处理 | 64.7 | 57.1 | 61.8 |
| 客户服务 | 76.3 | 77 | 76.0 |
| 安全事件 | 62.9 | 61.7 | 61.7 |
| 智能体轨迹可观测性 | 68.5 | 69.8 | 71.6 |

在我们运行的 43 项评估基准测试中，我们的 Clef 模型在延迟方面击败了决策模型（Laya 除外，它非常快，但在上述基准测试中牺牲了质量）：

| 基准测试 | Clef | Clef-flash | Jev | DiffusionGemma Jev | Kev-9B | Laya |
| --- | --- | --- | --- | --- | --- | --- |
| 中位延迟 · ms | 209.3 | 38.8 | 524.1 | 84.4 | 51.4 | 5.8 |
| p95 延迟 · ms | 238.6 | 122.4 | 536.0 | 211.2 | 187.9 | 222.5 |

除了模型本身带来的延迟优势外，我们的 Clef 模型托管在 Workers AI 上。由于它们托管在 Cloudflare 的基础设施上，我们能够利用边缘的 GPU，从而实现低网络延迟和更快的决策。这意味着你可以将 Clef 放入智能体的热路径中进行决策，并结合 Workers AI 上的某个大语言模型来采取行动。

curl
https://api.cloudflare.com/client/v4/accounts/
$CLOUDFLARE_ACCOUNT_ID
/ai/run/@cf/cloudflare/clef
\\
-X
POST
\\
-H
"Authorization: Bearer
$CLOUDFLARE_AUTH_TOKEN
"
\\
-d
'{
"model": "clef",
"state": "Checkout has been failing for every customer for the last hour.",
"questions": {
"urgent": { "type": "noul", "instructions": "Is this support request urgent?" },
"team": {
"type": "choice",
"instructions": "Which team should handle this request?",
"criteria": {
"billing": "Payments, invoices, and refunds",
"technical": "Outages, errors, and configuration",
"sales": "Plans and upgrades"
}
},
"severity": {
"type": "score",
"instructions": "How severe is the customer impact?",
"criteria": ["No impact", "Minor", "Major", "Critical"]
}
}
}'

Clef 还像 Jev 一样产生严格类型化的输出，并且完全 API 兼容，因此你可以极其轻松地完成替换。较大的 Clef 模型是你更强大的精确模型，而 Clef-Flash 模型非常适合延迟关键的决策。这些模型已为企业级使用做好准备，我们保证不会读取、存储或使用你的请求或响应进行训练（除非你想使用我们的微调产品，我们将在下文详细介绍）。你可以从今天开始使用 Clef 模型，从我们的开发者文档开始，或者在 Hugging Face 仓库上试用开源模型。

如果你需要针对特定工作负载调优 Clef 的帮助，我们还提供微调服务——首先由我们的前沿部署工程师（FDE）团队作为实践合作伙伴，之后作为自助微调平台，供客户训练模型并将其重新部署到 Cloudflare 上。

我们如何训练 Clef

在 Jev 发布的同一周，我们发布了一些关于我们自己开发的决策模型的实验。我们的演示深入介绍了我们如何调整 DiffusionGemma 模型，通过暴露大语言模型生成的 logprobs 来输出确定性概率。我们的初始方法建立在 Matt Mastracci 的独立研究之上，他一直在机器学习（ML）社区中活跃，分享新想法并向 vLLM 推理引擎提交拉取请求，以增强 DiffusionGemma 的支持。

Clef 建立在这一概念之上，但使用不同的基础模型作为骨干。我们目前使用 Qwen 作为基础模型，并对其进行了后训练，以适应决策模型的使用场景。在推理过程中，Clef 使用 Qwen 进行仅预填充的传递，然后并行地对有效的 schema 选择进行评分。决策步骤是非自回归的，因此没有需要逐 token 生成的中间文本，这使得 Clef 比自回归大语言模型显著更快。Clef 和 Clef-flash 不是生成中间文本来产生结构化答案，而是直接从内部骨干表示中推导出 schema 选择。这种方法依赖于专门的两阶段注意力路由过程：每个有效选择提取与提示相关的上下文，允许各个字段参数与其他字段以及原始载荷进行交叉注意力，然后再进行评分。通过利用词汇先验，模型在选项之间保留语义意图。最终，该架构将选项特定的证据路由、联合跨字段注意力和 schema 绑定评分统一起来。

通过冻结 Clef 的 Qwen3.8-27B 和 Clef-flash 的 Qwen3.5-9B，我们联合优化了路由头以及 rank-256 低秩适配器。我们的后训练利用标签平滑交叉熵来处理有效的 schema 输出，并结合 Brier 损失来改进概率校准。该训练利用我们自己的内部合成数据集，对字段顺序、提示和 schema 结构进行排列组合。我们还开发了校准决策强化学习（RLCD）作为次要优化目标，为相邻的序数选择授予部分分数，奖励完全精确的记录输出，并应用参考惩罚以防止分布偏移，从而为我们带来更好的准确性和泛化能力。

这意味着我们能够通过 Clef 实现一些新颖的成果：我们提高了模型在分类中的准确性，将其限制为仅输出概率而非文本生成，并使其比 Jev 和基础 Qwen 模型更快。

微调如何扩展 Clef 的能力

我们听到了许多内部用例，需要微调我们的 Clef 模型，以便将其构建到 Cloudflare 的智能体工作流中。例如，内部团队希望有一个分类器模型能够评估 Trust & Safety 提交内容，帮助我们分诊 Cloudflare Support 请求，甚至内置到我们的 Bot 产品中，以判断爬虫是好的机器人还是坏的机器人。

这些用例非常具体，而且我们拥有多年积累的标注决策数据，可以用来训练特定的分类器。当你微调一个模型时，你可能会牺牲一些通用性能，以换取在特定领域更高的准确率。由于 Cloudflare 拥有超过 15 年跨不同领域的网络数据，我们可以微调模型以适应这些特定用例，这比我们的通用 Clef 模型更准确、更快速。我们已经在与内部团队合作，研究如何对 Clef 进行后训练，以创建强大的机器学习模型，从而提升我们的影响力并改善 Cloudflare 内部的工作流。这些内部团队和用例是我们新的 FDE 微调团队的下一个职责范围，也是我们强化学习（RL）产品的基础。

我们新的 RL 服务

我们提供一项服务，通过我们亲力亲为的 FDE 团队帮助客户微调 Clef，以适应他们的工作负载。由此，我们将从实践经验中学习，构建一个自助平台，客户可以使用该平台在 Cloudflare 上捕获数据、微调并重新部署模型。

这实际上已经酝酿了很久——我们一直在构建我们的 AI 平台，使其具备合适的原语，从而能够构建自定义的 RL 产品。对 Jev 的兴趣表明了对快速、小型、特定分类器模型的需求，我们选择以此作为我们的细分方向，开始试验 RL 环境。

为此，我们利用已经在 Cloudflare 平台上构建的原语：

• Cloudflare AI Gateway – 将所有 AI 流量通过 AI Gateway 传输，并自动为你的用例创建请求数据集
• Cloudflare Workers AI – 针对基础 Clef 模型生成 rollout
• Cloudflare Containers – 用于评分和重放智能体操作的 RL 沙箱
• [NEW] Trainer – 更新微调后 Clef 模型的权重
• Cloudflare Workers AI + BYO Model – 在 Workers AI 上重新部署微调后的模型

这结合了 AI 平台中一些我们一直在推进的进行中组件，包括捕获你的 AI 流量以便你可以利用自己的请求/响应数据的 AI Gateway、用于 RL 沙箱的 Containers，以及自我们收购 Replicate 以来一直在推进的 Workers AI 的 Bring Your Own Model（Cog）工作。

今天就试试

我们很高兴今天推出 Workers AI 团队首个由 Cloudflare 训练的机器学习模型。我们还处于早期阶段，还有很多改进即将到来，但这是我们 AI 平台团队一直努力工作的精彩首次展示。我们相信 Clef 有能力颠覆我们使用智能体的方式，这与 Cloudflare 作为智能体云的使命天然契合。

如果你有特定的用例，并且已经是这些产品的客户——我们很乐意与你交流，并在我们探索这一领域的过程中成为设计合作伙伴。

试用托管在 Workers AI 上的 Clef 模型，如果你想自行探索，可以在 Hugging Face 上下载权重，如果你有希望我们协助的微调用例，欢迎联系我们。

我们的机器学习团队影响力持续增长，从模型优化到模型训练研究。如果你有兴趣加入我们的使命，请查看我们的开放职位。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Cloudflare Blog

原创地址：https://blog.cloudflare.com/clef-decision-models/