生产级 AI 的经常性成本并非推理。而是重新认证：每当模型在你脚下发生变化时，你都要重新运行评估、重新调优提示词并进行回归测试。以下就是这项成本实际涵盖的内容，以及如何在其让你措手不及之前做好预算。
那封邮件是在一个周二到的。我们已经在生产环境中运行了将近一年的一个模型——我们特意将其固定到某个特定版本——即将被弃用。我们有一个迁移窗口。在那之后，该端点将开始返回错误。
我们已经做了谨慎工程手册告诉你要做的一切。我们没有漂浮在一个可能在一夜之间发生变化的 latest 别名上。我们固定了确切的模型版本，将其写入配置，并像对待任何其他不希望未经审查就变动的依赖项一样对待它。固定版本本应是安全的选择。
弃用通知清楚地揭示了一件被固定版本悄然掩盖的事情：固定模型版本并不能让你免于变化。它只是为你争取了延迟。地面仍在移动。你只是可以选择那个周二。
这一区别是生产级 AI 中预算最不足的成本。团队将他们的 AI 支出建模为推理：输入 token、输出 token 乘以价格。他们优化模型选择，优化提示词长度，争论更便宜的模型是否足够好。几乎没有人会在预算中为模型发生变化、整个系统必须重新证明正确的那一天留出一行。我将把这一行称为重新认证税，到本文结束时，我希望你既能为它命名，也能找到围绕它进行规划的方法。
固定版本实际保护你免受什么，以及不能保护你免受什么
固定模型版本确实是良好的实践。它可以阻止静默的行为漂移，即提供商在别名背后更新权重，而你的输出在代码没有任何一行更改的情况下发生变化。如果你曾经看到评估分数在你自己的提交中找不到任何原因的情况下发生变化，你就已经知道团队为什么要固定版本了。
但固定版本只是锁住了门属于你的一侧，而门也由提供商控制。提供商会弃用模型。到 2026 年，这种节奏如果有变化的话，也是加快了：新的前沿模型每隔几个月就会发布，旧模型会被淘汰，而且多家提供商曾在短时间内退役模型。大多数团队无论如何也不是只运行一个模型。当前的现实——贯穿全年的工程调查也证实了这一点——是生产技术栈同时保持多个模型在运行：一个前沿模型用于困难推理，一个更便宜的模型用于常规调用，有时还有一个自托管模型用于不能离开本地的数据。其中每一个都有自己的弃用时钟。
因此，固定版本并没有消除变化。它把不可预测的变化转化为已排期的变化。这是真正的改进，因为已排期的变化是你可以安排人力和预算的。只有当你把固定版本当作永久性，并且没有为它到期的那一天做任何计划时，它才会成为灾难。
每个人都忘记定价的事情：模型并不是唯一会变化的东西
这就是让重新认证变得昂贵而非琐碎的部分。当你从一个模型版本迁移到下一个版本时，模型并不是即插即用的部件。你在旧模型之上构建的几乎所有东西，无论你是否有意为之，都是针对该模型的特定行为调优的。
你的提示词是针对它调优的。在旧模型上能可靠产生结构化输出的措辞，在新模型上可能会产生微妙不同的结果。你的少样本示例是根据它的特性校准的。你的护栏是针对它的失败模式设置的。你的输出解析器是针对它倾向于返回的特定形状加固的。你的温度和 token 预算之所以被选中，是因为它们在那个模型上有效。甚至你的延迟和成本假设也是针对它测量的。
更换模型后，之前所有那些假设都变得未经证实了。不一定错误，但未经证实。而在一个企业真正依赖的系统中，未经证实就等同于故障，除非你能证明并非如此，因为你无法告诉客户对账结果"大概是对的"。
这就是为什么"直接把它指向新模型"这句话往往是这类生产事故的前奏。切换本身只是一行配置。真正的工作在于证明那一行配置没有悄无声息地改变你的生产智能体实际做的事情。
重新认证周期实际包含什么
我想在这里精确地说明其结构，因为结构才是可操作的部分。当弃用通知到来时，这就是横亘在我们与安全迁移之间的工作。把它当作每次重要系统底层模型变更时都要执行的检查清单。
重新运行黄金评估集。如果你一直关注这个领域，你知道我信奉真正的评估工具链。这就是它体现价值的时刻。你取一组固定的代表性用例，带有已知正确的输出，用来衡量智能体，然后让新模型逐一运行所有用例。不是冒烟测试，而是完整套件。你要找的不仅是总体通过率，而是差异：哪些具体用例发生了变化，朝哪个方向变化。一个模型可能给出相同的总体分数，但在完全不同的用例集上做对和做错。如果你只看平均值，你会发布一个恰好数值上不可见的回归。
真实流量上的行为差异比对。评估集是你想到要测试的内容。生产流量才是实际发生的情况。在切换任何东西之前，你让新模型以影子模式对一部分真实请求运行，并将其输出与当前模型进行差异比对。这是你捕获从未写过测试的故障模式的地方——长尾输入、格式异常的文档、只有真实用户才会产生的边缘情况。
提示词和少样本回归。在行为发生变化的地方，你要查明修复方法是否是修改提示词。通常是的。但提示词的修改本身就是一种变更，必须针对整个评估集重新测试，因为修复第 40 个用例的措辞可能会破坏第 12 个用例。这一步是循环的。它是最耗时的部分，也是人们最容易低估的部分。
护栏和解析器重新验证。你的安全检查、拒绝处理、JSON 解析、重试逻辑。所有这些都针对旧模型的输出分布进行了调优。新模型，新分布，重新验证。一个曾经默默处理旧模型格式习惯的解析器，可能开始在新模型上抛错，或者更糟，不再捕获它以前能捕获的问题。
成本和延迟重新分析。新模型有自己的价格和速度，对于同一任务它可能推理得更冗长或更简洁。更新且名义上每 token 更便宜，不等于每次结果更便宜。你需要重新测量，因为你的单位经济模型刚刚发生了变化，你需要在财务部门替你发现之前知道变化了多少。
金丝雀发布和签核。即使完成了以上所有步骤，你也不能一次性切换整个集群。你对新模型在一小部分流量上进行金丝雀发布，观察真实指标，然后才全面推出。并且需要有权限的人签核确认系统已通过认证，就像你对记录系统的任何变更进行签核一样。
对于一个企业依赖的系统，这些步骤没有一个是可选的。跳过评估差异比对，你就会发布一个不可见的回归。跳过行为差异比对，长尾会在生产中咬你一口。跳过重新分析，你的利润率会悄然倒挂。重新认证之所以花费真金白银，是因为正确执行它是真正的资深工程师工作，而错误执行的代价更高。
为什么我不打算给你一个具体金额
你可能期待下一句是“这让我们花了 X 美元”或“Y 个工程师小时”。我故意不这么做，而原因很重要。
我给你的任何单一数字都会是作秀。一次重新资格认证周期的成本完全取决于有多少用例依赖该模型、你的评估覆盖已经有多好、你的提示词对旧模型的贴合有多紧密，以及流水线中有多少是自动化的。一个拥有成熟测试框架和一条命令即可完成影子部署的团队，其成本只是手工重新认证团队的一小部分。把我们内部的数字当作基准报给你，恰恰是那种武断、无来源的数字，理应受到质疑。
诚实且更有用的是它的形态。重新资格认证不是 token 成本。它是人力成本，集中在你最资深工程师的时间上，而且它按提供商的节奏而非你的节奏反复出现。如果你想为自己的规划要一个数字，唯一值得拥有的就是你测量出来的那个：追踪你上一次模型变更实际端到端花了多长时间，并用它作为下一次的估算。这个测量出的数字是下一节中每一个决策最有价值的输入。
反直觉的部分：追逐最新模型可能比原地不动代价更高
这正是经济学变得有趣的地方，也是本文与这一领域其他内容相连接的地方。
存在一种被充分描述的反向拉力，有时被称为模型惯性：团队倾向于在更便宜或更好的模型发布很久之后仍继续运行上一季度的模型，并因此把真正的节省留在桌上。已发表的分析正确地指出惯性是有代价的。手工的、偶发的模型切换如果做得好，估计只能捕获模型价格下降所带来的节省中的一小部分；更细粒度的路由能捕获相当多的部分。
但在这笔交易的另一侧存在一种成本，那些分析往往跳过，而这正是本文的全部主题。每一次模型变更都会触发一次重新资格认证周期。因此，你追逐新模型的频率本身就是一种成本杠杆，而不仅仅是节省杠杆。一个每当出现更便宜的模型就切换的团队，并不只是在捕获 token 节省。它也在以同样的频率支付重新资格认证税。如果你的重新资格认证成本很高——因为你的评估覆盖薄弱、提示词脆弱——那么激进的模型追逐在工程时间上让你付出的代价，可能远超它在 token 上为你节省的。
这是同一个陷阱换了新装。我们在路由中见过它：通过降级模型来削减推理账单，悄悄破坏了产品，节省最终被证明是以质量为抵押借来的。我们在每次成功结果的成本中见过它：一个通过了所有准确率评估的智能体仍然亏钱，因为单位经济从未被测量。重新资格认证税是同一教训的时间版本：模型变更的标价是 token，而真实价格是之后你必须重新证明的一切。每 token 更便宜不等于每结果更便宜，一旦把你所承诺的重新资格认证节奏计入价格，它绝对不更便宜。
正确的做法不是冻结，也不是追逐。正确的做法是了解你自己的重新资格认证成本，因为这个数字告诉你，实际多久才值得变更一次。
如何为这项税做预算，而不是被它打个措手不及
以上一切归结为五项实践承诺。这是我会真正实施的部分。
1. 把模型版本视为带有指定负责人的固定依赖。你几乎肯定会固定库版本并指派某人负责升级。对模型也这样做。版本放在配置中，变更经过审查，并且有一个人负责了解生产中每个模型的弃用时间线。意外是昂贵的部分，而意外是可以预防的。
2. 在流水线中设置重新认证门禁。模型变更必须通过黄金评估集和行为差异对比才能进入生产环境，就像代码必须通过测试才能合并一样。让重新认证成为一道门禁，而不是一个良好意愿。门禁正是将紧急演练转变为常规流程的关键。
3. 将黄金评估集作为基础设施来投入，而非一个项目。整个重新认证周期的成本是低还是高，取决于一件事：在通知到达的那天，你是否拥有一个持续维护的、具有代表性的评估集。如果你在迁移截止日期的压力下被动构建，你一定会做得很糟糕。评估工具不是一次性的交付物。它是让未来每一次模型变更都能安然度过的资产，它需要像任何其他生产基础设施一样，有明确的负责人和预算项。
4. 关注弃用日历。提供商的弃用通知并不总是醒目的，窗口期也并不总是宽裕的。应该有人订阅你所依赖的每一个提供商的变更日志，弃用日期应该与你规划的其他所有事项出现在同一张路线图上。60天的窗口期，如果你第一天就看到，那是从容的；如果你第45天才看到，那就是一场危机。
5. 衡量你的重新认证成本，并让它决定你的模型更替意愿。对你下一次模型迁移进行端到端计时。这个测量出的成本才能诚实地告诉你，你应该以多大的力度去追逐新模型。低重新认证成本赋予你快速行动并获取模型成本节省的权利。高重新认证成本则是一个信号：在追逐任何新东西之前，先投资于评估和自动化来降低成本。
保持生产模型与时俱进不是一次性的构建。它是一项长期计划，更接近于你在企业系统生命周期中运营它们的方式，而不是发布一个功能的方式。以这种方式对待它的团队花费更少、故障更少，也永远不会是那些惊慌失措地阅读弃用邮件的人。
地基在不断移动
在这一切之下，令人不安的事实是：生产级 AI 系统建立在一个供应商可以随时更改的基础之上。这不是回避构建的理由。这是将变更成本纳入考量进行构建的理由。
重新认证税不是你架构的失败。它是依赖非自训练模型的结构性特征，只要你在生产环境中，它就会反复出现。你可以把它作为一项经常性的、有计划的、枯燥的预算项来支付，通过门禁运行，由评估集支撑，由专人负责。或者你可以在紧急情况下支付它，在最糟糕的时刻，用你最昂贵的工程时间，每次周二的一封邮件让你措手不及时。
同样的税。你唯一的选择是：它是一条预算项，还是一场火灾。
所以，这里有一个值得带回你自己技术栈的问题：如果你最重要的智能体所使用的模型明天就被弃用，你知道证明替代品安全需要付出多少成本吗？如果你没有这个数字，那就是第一件值得衡量的事情。在你的 AI 预算中，其他一切都比你看不到的成本更容易辩护。
常见问题
什么是模型重新认证？它是证明生产级 AI 系统在底层模型变更后仍然行为正确的工作。它包括重新运行评估集、在真实流量上对比行为差异、重新测试提示词和护栏，以及重新分析成本和延迟。模型替换只是一行配置。重新认证是你为证明那一行配置安全所做的一切。
为什么固定模型版本不能解决这个问题？固定版本可以阻止提供商悄悄更改模型，这很有价值。但提供商仍会弃用已固定的版本，因此固定版本只是将不可预测的变更转化为有计划的变更，而非消除变更。你最终仍然必须迁移。固定版本为你赢得的是规划迁移的能力，而不是跳过迁移。
重新认证多久发生一次？取决于提供商的时间表，而非你的。随着新的前沿模型每隔几个月出现、旧模型被淘汰，以及大多数生产技术栈同时运行多个模型，重新认证是反复发生的事件，而非一次性事件。你依赖的每个模型都有自己的弃用时钟。
始终使用最新、最便宜的模型是否更划算？不一定。每次模型变更都会触发重新认证周期，因此追逐新模型的频率是一种成本，而不仅仅是节省。如果你的重新认证成本很高，激进地切换模型所花费的工程时间可能超过其在 token 上节省的成本。合适的节奏取决于你自己实测的重新认证成本。
在弃用通知到来之前，最需要准备好的一件事是什么？为每个生产用例维护一个具有代表性的评估集。正是这一资产让整个重新认证周期变得快速而非代价惨重。如果在迁移截止日期前被动构建，它会被构建得很糟糕，因此应将其作为有负责人的常设基础设施来投入，而非一次性项目。
Pratik K Rupareliya 是 Intuz 的联合创始人兼战略负责人，该团队为受监管和高风险行业的公司构建并运行生产 AI 智能体。在 16 年多、700 多个产品的经历中，工作重点不在于一次性交付模型，而在于在其底层不断变化时保持模型的正确性和可负担性。他撰写关于 AI 生产经济学的文章。常驻美国加利福尼亚州和艾哈迈达巴德。更多信息请访问 intuz.com。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Towards Data Science
原文作者：Pratik Rupareliya；如有侵权，请联系管理员删除。
