你的智能体已上线。服务运行正常。但它的回答是否在变得更好？通过连接生产追踪、精选数据和评估，你的团队可以发现故障、选择改进方案，并在下一版本到达用户之前证明其有效。

首次部署仍然是一个里程碑。但随之而来的是棘手的问题：我们如何保持输出准确、让客户满意？成本会是多少？经过几次迭代后，团队花在维护工具和协调交接上的时间可能比改进应用本身还多。

发现团队之间的差距

设想一下，当训练模型的 AI 工程师将其移交给应用团队或站点可靠性工程（SRE）团队时会发生什么。工程师了解什么是“好”的表现；生产团队负责运行中的服务。从那时起，他们可能关注不同的系统。

应用追踪数据落入为正常运行时间构建的仪表盘。值班工程师看到的是健康的服务，而研究团队对回答质量或用户情绪几乎一无所知。评估套件随着用户行为的变化而逐渐过时，但没有人负责更新它。研究人员、AI 工程师和业务负责人各自回到不同的仪表盘，为下一个版本做准备。

值班工程师看到的是健康的服务，而研究团队对回答质量或用户情绪几乎一无所知。

首先问一问，谁能将生产故障转化为评估用例，谁负责保持该用例的时效性。如果答案需要在团队之间复制上下文，那正是你在交接中迷失的地方。

连接改进的五个阶段

AI 循环遵循一个熟悉的周期：运行模型或智能体，观察其行为，将信号整理为数据，改进系统，评估结果，然后重复。每个阶段都需要携带足够的上下文，以便下一个团队能够采取行动。

运行。为工作负载选择模型和智能体框架——即模型周围的代码和工具。捕获部署后调查行为所需的信号。

观察。不要只看可用性。捕获追踪、指标、工具使用情况和行为反馈，以便检查智能体的决策并识别运行中出错的地方。

整理。将生产示例转化为有用的数据集和更新的评估套件。在流程中保留人工审核，并保留解释示例来源的溯源信息。

发布应当展示哪些方面有所改进，而不是依赖少数几个看似有前景的答案。

改进。将变更与故障相匹配。你可以调整测试框架、切换模型，或通过强化学习（RL）、监督微调或模型蒸馏来优化行为。明确你期望的质量、延迟或成本结果。

评估。在部署前、部署中和部署后，将候选方案与可重复的标准进行比较。发布应当展示哪些方面有所改进，而不是依赖少数几个看似有前景的答案。

将记录与工作保持在一起

这些交接塑造了我们对 CoreWeave Forge 的方法，我们上周在 Fully Connected 2026 大会上宣布了这一产品。我们设计它的目的是将运行、观察、整理、改进和评估连接在一个开发环境中。MasterClass 和 Canva 正开始使用 Forge 来完成他们的 AI 循环。

对于一个互联环境，有用的测试是看你能否将一次部署追溯到其模型版本、评估、数据集和生产示例。CoreWeave Registry 管理模型、智能体和数据集；Weights & Biases Models 跟踪实验、超参数扫描、分析和自动化工作流。这些记录共同帮助团队了解发生了什么变化，以及是否改善了结果。

在观察方面，CoreWeave Agent（智能体） Lens 跟踪步骤、决策和工具调用，并提供对话视图和技术细节。Monitors 在人工监督和整理下对实时流量进行评分。我们的发布文章报告称，Agent Lens 将故障检测提升了 20%，并以一半的成本修复问题；团队应根据自身工作负载评估这些结果。

CoreWeave Notebooks 提供托管的 Python notebook，用于共享评估和自定义分析。CoreWeave ARIA 分析运行、提出实验建议，并推荐存储在 GitHub 中的代码变更。其与 Weights & Biases Models 的集成支持基于检测到的信号进行自动研究。将评估证据与任何提议的变更放在一起，以便团队判断结果。

CoreWeave Sandboxes 为智能体、工具调用、RL 和评估提供隔离的中央处理器（CPU）或图形处理器（GPU（图形处理器））环境。CoreWeave ARIA 和 CoreWeave Sandboxes 已正式可用；Agent Lens、Notebooks 和 Model Distillation（预览版，属于 CoreWeave Training 的一部分）是 CoreWeave Forge 中的新功能。

选择你的工作负载所需的改进方式

Post-Training 使用生产信号来改善模型质量、延迟和成本，而无需训练集群。Serverless SFT（监督微调）和 Serverless RL（强化学习）让团队可以用自己的训练配方进行实验。

对于已在生产中验证的任务，Model Distillation 在较大模型的输出上训练一个更小的开放权重模型。然后它将候选模型与现有模型进行正面评分对比。这种比较为你提供了决定是否迁移流量的证据。更小的模型只有在满足任务要求时才有用。

将推理视为循环的一部分

每个阶段都依赖推理，但工作负载需要不同级别的控制。CoreWeave Inference 提供 Serverless Inference 用于访问开放权重模型，以及 Dedicated Inference 用于在隔离基础设施上运行的工作负载。

使用 Serverless Inference 时，CoreWeave 管理基础设施。使用 Dedicated Inference 时，团队控制模型权重、部署设置和 GPU 资源。根据工作负载的需求进行选择；随着需求变化，团队可以在两种方式之间切换。

Cline 在其开源、开放选择的编码智能体中使用 Serverless Inference 中的开源模型，我们的发布文章将其描述为受到超过 1100 万开发者的信赖。Grammarly 使用 Dedicated Inference，具有明确的 GPU 选择和完全托管的运维。

强化学习增加了另一项要求。策略生成 rollout——其行为的示例——训练产生更新后的权重，这些权重返回服务端进行下一轮。检查点加载缓慢会拖慢整个循环。

我们在 Dedicated Inference 中新增的 RL rollouts 功能使用 NVIDIA Dynamo 基础，以最短停机时间热加载更新后的检查点。我们与 NVIDIA 和 you.com 的工程团队合作，使用 NeMo gym 中的 RL Rollouts 和 you.com 的 Web 搜索应用程序编程接口（API）对 NVIDIA Nemotron 3.5 Lightning 进行后训练。我们的发布文章报告称，与基线相比，模型重载延迟改善了 15 倍。

保持循环对你的技术栈开放

改进循环会触及你已经在使用的可观测性平台、数据仓库和安全栈。CoreWeave Partner Network 包括基础设施、数据服务、独立软件供应商（ISV）以及模型和推理，其解决方案在生产条件下于 CoreWeave 上经过测试。

这包括智能体调用的工具。Exa、Parallel Web Systems 和 You.com 通过一次集成提供实时 Web 搜索层。搜索让智能体能够访问其训练数据之外的信息；你仍然需要观察和评估其工具调用及由此产生的答案。

我们构建了 CoreWeave Forge，面向在 CoreWeave Cloud、其他云和私有数据中心运行工作负载的团队。改进数据保持可移植性，各阶段之间具有开放接口，因此精选数据集和评估套件无论你在哪里运行都能保持有用。

从一个生产故障开始

选择一个你的团队理解的故障。从追踪到精选示例、提议修复、评估和部署，全程跟进。记录上下文在哪里丢失以及所有权在哪里不明确。这为你连接循环提供了一个具体的起点。

为了测试该工作流，CoreWeave Forge 提供 30 天 Pro 免费试用，并附带跨产品线的积分。对于有兴趣通过直接接触 CoreWeave 专家和基础设施来验证生产工作负载的用户，可以尝试 CoreWeave ARENA。目标是让每次部署都能为你的下一步构建提供输入，并用证据表明下一个版本比上一个版本有所改进。