深入探讨 TypeSafe AI 的 Jev：它实际做什么、真正新颖之处在哪里，以及哪些宣传言过其实。

今天，我想尝试一些不同的东西。与其再写一篇标准的“什么是 Jev？”科普文章，我更想回答人们真正在问的问题，并澄清来自 YouTube、社交媒体和 AI 网红的一些炒作。

我以一名多年来从事机器学习和自然语言处理（NLP）系统工作的从业者视角来看待 Jev，包括分类器、零样本分类器和语言模型。老实说，Jev 所做的很多事情看起来并不陌生。

这并不意味着 Jev 无趣。TypeSafe AI 似乎围绕一个非常具体的问题构建了新的架构和训练方法。但改进现有的一类 NLP 系统与发明一种全新类型的 AI 之间，存在巨大差异。

我们对 Jev 的内部架构、训练设置和模型规模仍然知之甚少。因此就目前而言，许多最重大的声明在很大程度上依赖于 TypeSafe AI 自己的基准测试。

什么是 TypeSafe AI 的 Jev？

Jev 是一个为快速、结构化决策而构建的 AI 模型，而非用于开放式文本生成。

TypeSafe 将其称为 System One Model，以区别于传统的大语言模型（LLM（大语言模型））。

给它一条客户消息，例如：

I upgraded yesterday but now I can't access the features I paid for.

Jev 不会撰写冗长的支持回复，而是根据一组固定选项评估该消息，并返回一个概率分布：

Technical      64%
Sales          23%
Billing        13%
Cancellation    0%

在这种情况下，Jev 选择了 Technical，但概率也表明该请求有些模糊。这一点很重要，因为应用程序可以同时利用决策结果和模型的置信度来决定下一步操作，例如自动路由工单，或将低置信度的案例发送给人工审核。

分类、评分、路由和意图检测并不是新的机器学习问题。TypeSafe AI 的不同之处在于，它专门围绕这类带类型的、概率化的决策来构建模型，而不是拿一个通用的大语言模型（LLM）并通过提示词让它表现得像一个分类器。

什么是 System One 模型？

TypeSafe AI 将 Jev 描述为 System One 模型，其灵感来源于 System 1 和 System 2 思维的概念。

System 1 快速且本能。它根据可用信息迅速做出决策。Jev 遵循这一理念，在不生成冗长文本链的情况下产生结构化决策和概率。

System 2 更慢、更深思熟虑。这更接近以推理为核心的大语言模型（LLM）在需要解决复杂问题、规划多个步骤或攻克难题时的工作方式。

例如，如果一个 AI 系统收到一张支持工单：

• System One：“哪个团队应该处理这个？”——Technical：64%

• System Two：“调查问题，确定原因，并解释如何修复。”

其理念并不是一个取代另一个。System One 适用于快速决策，而 System Two 适用于需要更深层推理的场景。

Jev 只是一个零样本分类器吗？

Jev 在思路上与零样本分类非常相似。

零样本文本分类器已经允许你提供一些文本和任意候选标签，而无需针对这些确切类别训练专门的模型。

例如，你可以给一个现有的零样本模型：

Text: "My subscription was charged twice."

Labels:
Billing
Technical
Cancellation
Sales

然后得到每个标签的概率。

NLP 工程师们已经这样做了很多年。现代基于 NLI 的零样本分类在 2019–2020 年左右开始流行，而零样本学习本身的历史则要久远得多。

但把 Jev 仅仅称为一个老式的零样本分类器也不公平。TypeSafe AI 围绕多个结构化决策、概率、并行推理以及一种新的以校准为重点的训练方法来设计它。

我的看法很简单：问题本身是旧的；围绕它构建的架构和产品可能是新的。

Jev 是大语言模型吗？

我不会把 Jev 与 GPT、Claude、Gemini 或其他前沿大语言模型归为同一类别。

那些模型是通用型的。它们是为编码、推理、工具使用和开放式文本生成而构建的。Jev 的范围要窄得多。它主要是为了接收文本并从中做出结构化决策而构建的。

你可以通过结构化输出、函数调用或约束解码来迫使现代大语言模型做类似的事情，但你仍然是在用一个庞大且昂贵的通用模型来完成一个相对简单的分类式任务。

Jev 从一开始就是围绕这项更窄的工作设计的。这也是它能够便宜得多、快得多的主要原因之一。

为什么 Jev 如此便宜且快速？

Jev 是为比通用大语言模型窄得多的任务而构建的。它不是逐 token 生成文本，而是被设计为直接且并行地做出结构化决策。

TypeSafe AI 将 Jev 的高效归因于其专用架构、并行采样器以及以校准为核心的训练。

这一更广泛的思路并不新鲜。诸如 Meta 的 facebook/bart-large-mnli 等模型长期以来一直被用于轻量级零样本分类。

因此，有趣之处不仅在于 Jev 比前沿 LLM 更便宜，而在于其架构如何专门针对快速、结构化的决策进行优化。

Jev 的准确率如何？

我们目前还不太清楚。

TypeSafe AI 报告称，Jev 在其自身的工作流评估中约为 68%，但这并不等同于说 Jev 在真实世界决策中有 68% 是正确的。参考答案来自前沿模型，而非经过独立验证的真实基准。

目前已有一些早期的独立测试。一项小型事实核查测试报告了 96.3% 的准确率，而另一项涵盖 275 份文档的测试发现，在某些分类任务上具有高度一致性。但这些仍然是小规模且有限的评估。

因此就目前而言，我会将 TypeSafe 的结果视为有前景，而不是 Jev 通用准确率的证明。在我们真正了解其表现如何之前，还需要更多独立的基准测试。

Jev 真的不会产生幻觉吗？

从技术上讲，是的——但这种表述很容易被误解。

如果你给 Jev 的选项是 Billing、Technical 和 Sales，它不可能突然返回 Legal。该答案在模式中并不存在。

但当正确答案是 Technical 时，它仍然可能选择 Billing。

所以 Jev 仍然可能出错。

因此，“零幻觉”更接近于零超出模式的输出，而不是零错误决策。

这是一个重要的区别。

Jev 与前沿 LLM 相比如何？

在价格和速度方面，Jev 应该具有明显优势。

它是一个专门化的模型，执行的任务范围要窄得多，因此需要的计算量更少，返回的输出也少得多。前沿 LLM 旨在处理编码、推理、长对话、工具使用和开放式生成。Jev 主要进行结构化决策。

因此，如果 Jev 能以快得多的速度和低得多的成本对工单进行分类，这其实并不令人意外。

更有用的比较是，Jev 在狭窄任务上能否保持足够接近的质量，使开发者能够替换昂贵的前沿模型调用，而不会损害应用程序。

这正是 Jev 变得有趣的地方：不是因为它比前沿 LLM 更快，而是因为它可能足够快、足够便宜，同时对任务来说仍然足够准确。

什么是 RLCD？

RLCD 代表 Reinforcement Learning for Calibrated Decisions（用于校准决策的强化学习），这是 TypeSafe AI 称其为 Jev 开发的训练方法。

关键词是校准。一个模型可以做出准确的预测，但在估计自身确定性方面仍然表现不佳。校准意味着其概率应当反映这些预测实际正确的频率。

例如，Jev 可能会返回：

Technical:    64%
Sales:        23%
Billing:      13%
Cancellation:  0%
-----------------
Confidence:   53%

这些百分比表示 Jev 如何在可用选项中分配概率，而置信度分数则提供了对决策确定性的额外估计。

经过良好的校准，以更高置信度做出的决策也应该更经常是正确的。这使得不确定性在软件中变得可用：工作流可以在置信度阈值以上自动执行操作，并将不太确定的案例升级以供审查。

因此，与 RLHF 训练模型趋向人类偏好的响应不同，TypeSafe 表示 RLCD 优化 Jev 以做出概率能够准确传达不确定性的决策。

Jev 实际上可以用来做什么？

当软件需要大量小型决策时，Jev 非常有用，例如路由、分类、评分或决定智能体下一步应该做什么。

人们已经在实际应用中对其进行实验：

• 智能体路由：blackbarata 使用 Jev 在食谱、爬虫、膳食规划和其他智能体之间路由请求，报告决策时间为 145–271 毫秒。

• 模型路由：TigerOk4538 将 Jev 与使用结构化输出的普通 LLM 进行了比较。Jev 耗时约 1 秒，而 LLM 耗时 4–14 秒。

• 浏览器智能体：Browser Use 构建了 jev-ultrafast，其中 Jev 决定使用哪个浏览器操作和元素。一个 Google Flights 演示在大约 7.1 秒内完成了任务。

• 广告分析：Matthew Berman 使用 Jev 在大约 40 秒内分析了来自 37 个品牌的 724 个广告，据报道成本约为 \$0.09。

因此，Jev 似乎最适合作为大型应用程序内部的快速决策层，而不是作为生成最终答案的模型。

TypeSafe AI 的 Jev 真的具有革命性吗？

我还不会称 Jev 具有革命性。

分类并不新鲜。意图检测并不新鲜。零样本分类并不新鲜。校准概率并不新鲜。而专用模型比大型通用模型更便宜、更快速，这绝对也不新鲜。

TypeSafe AI 似乎做的是围绕这些常见问题重新思考架构、训练、推理、校准和开发者体验。

这可能会让 Jev 成为一个非常好的产品。

但这与发明一种全新形式的 AI 是不同的。

Abid Ali Awan（@1abidaliawan）是一位认证数据科学家专业人士，热爱构建机器学习模型。目前，他专注于内容创作以及撰写关于机器学习和数据科学技术的技术博客。Abid 拥有技术管理硕士学位和电信工程学士学位。他的愿景是利用图神经网络为受精神疾病困扰的学生构建一款 AI 产品。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：KDnuggets

原创地址：https://www.kdnuggets.com/what-everyone-is-getting-wrong-about-typesafe-ais-jev