一项在合同领域的合作研究如何帮助我们训练和评估 AI 智能体完成复杂的专业工作。

当我们推出 GPT‑6 Astra 时，我们展示了模型在将计算机用于专业工作方面取得了多大进展，从准备文档到测试网站。我们的下一个目标是让智能体在使用专业软件解决复杂业务问题时更加有能力、更高效。我们正在探索如何训练模型理解公司的业务规则、执行多步骤工作流，并验证其工作是否满足原始要求。

为了加速这项研究，我们直接与少数最了解这些工作流的软件公司合作。我们共同识别具有挑战性、高价值的任务，并将其转化为用于训练和评估我们模型的研究问题，最终使我们的模型在真实业务应用中更有能力、更有用。

我们的第一个合作伙伴是 Ironclad，AI 合同领域的领导者。我们与 Ironclad 团队紧密合作，开发了要求智能体配置协议、审批和可复用法律条款的任务，并在这些复杂工作流上展示了进展。Ironclad 的专业知识在定义成功标准以及将真实客户需求直接引入前沿模型开发方面发挥了关键作用。我们感谢他们的合作，并很高兴分享我们共同取得的成果。

GPT‑6 Astra 是我们首个基于 Ironclad 任务训练的前沿模型。在我们的研究评估中，其平均得分比 GPT‑5.6 Sol 高 32%，而每次尝试的估计时间低 48%。1

将合同工作流转化为训练任务

设想一个法律运营团队正在建立采购软件的流程。财务可能需要审批超过一定金额的采购，安全团队可能需要审查某些请求，法务可能需要审查非标准条款。设置该流程的人必须把这份简短清单转化为受理表单、文档模板、审批规则以及最终协议的记录。

执行同样工作的 AI 智能体必须在软件中操作时始终关注这些要求。例如，它必须配置超过支出阈值的财务审批，并检查高于和低于该阈值的请求是否遵循正确路径。仅把单个步骤做对还不够：完成的流程必须在其设计要处理的各种情况下都能正常工作。

Ironclad 员工以及在 OpenAI 使用 Ironclad 的人员帮助我们的研究人员识别了法律、商务和采购工作中的 11 项任务。这些任务包括设置保密协议、创建采购审批流程，以及更新可复用的法律条款，使其反映请求者选择的司法管辖区。我们估计，这项工作平均每项任务需要一名有经验的用户花费约 30 到 40 分钟。

我们根据任务复杂度，用 8 到 50 条标准评估每项任务。这让我们能够看到模型哪些部分做对了，以及哪些地方做得不够。Ironclad 还提供了其产品的托管软件环境，模型可以在其中练习这些任务。我们的研究人员围绕具有代表性的工作流开发了合成训练任务 2，并使用强化学习帮助模型通过练习和反馈不断改进。这种组合——与了解工作的人共同选择任务、详细标准，以及供模型练习的环境——确保我们改进的是对客户最重要的真实世界任务。

Astra 的表现如何

我们比较了 Astra 和 GPT‑5.6 Sol，Astra 使用 Max reasoning，Sol 使用 High reasoning，这是每个模型得分最高的设置。在 11 项研究任务中，Astra 的平均得分为 55.0%，而 GPT‑5.6 Sol 为 41.6%，同时每次尝试的估计平均时间从 Sol 的 37.0 分钟降至 Astra 的 19.2 分钟。3 一个用于 Astra 开发的内部模型在这些任务上取得了更强的 63.7%，我们的目标是将这些进一步收益带到未来模型中。

| 指标 | GPT‑5.6 Sol 高推理 | GPT‑6 Astra Max 推理 |
| --- | --- | --- |
| 平均评分标准得分 | 41.6% | 55.0% |
| 预估每次尝试平均耗时 | 37.0 分钟 | 19.2 分钟 |

Astra 在每次尝试中用了更少的模拟时间，却满足了更多任务要求。下面两个片段展示了两个模型如何处理同一项研究任务。Astra（第一个）在预估 20 分钟内满足了约 94% 的任务标准；GPT‑5.6 Sol（第二个）在预估 32 分钟内满足了约 85%。

GPT‑6 Astra 在预估 20 分钟内满足了约 94% 的任务标准。

GPT‑5.6 Sol 在预估 32 分钟内满足了约 85% 的任务标准。

这次合作对 Ironclad 意味着什么

Ironclad 在这项工作中的角色，反映了其客户非常熟悉的一个挑战：合同流程必须处理例外情况，同时还要保留企业所依赖的规则。如果智能体在任务进行到一半时丢失了其中某条规则，就会限制软件公司能够放心交给它做的事情。这凸显了为什么在智能体越来越擅长复杂合同任务的同时，人类监督仍然重要，也凸显了为什么完整的合同平台仍然不可或缺。与我们的研究人员合作，让 Ironclad 能够把这些问题带入底层模型的开发过程中，从而共同研究它们。

随着模型能力越来越强，Ironclad 有机会将它们用于更多自家产品中。对于法律和业务团队而言，这可能意味着 AI 能承担复杂合同工作中更多的任务，同时保留这些团队所依赖的控制措施。

“ 要让 AI 在复杂的合同领域真正有用，它不能只是完成单个操作。智能体需要理解完整的合同生命周期，包括业务工作流如何衔接，同时保留团队所依赖的控制措施。我们与 OpenAI 的合作将这些现实世界的挑战带入研究过程，并帮助推动技术向前发展。 ” —Sunita Verma，Ironclad 首席技术官

与我们合作，推进 AI 在复杂专业工作中的应用

我们正在邀请少数软件公司，与我们的研究和工程团队直接合作，处理当今智能体仍无法可靠完成的重要专业任务。如果你的团队有这样的任务，我们希望看到一个具体示例：你要求智能体做什么、它在哪些地方失败的证据，以及你会如何判断结果是否成功。合作伙伴还应能够提供深入了解这项工作的人员、安全的测试环境，以及可安全用于研究的数据。这为我们调查失败原因并衡量模型是否改进提供了起点。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：OpenAI Blog

原创地址：https://openai.com/index/advancing-computer-use-with-ironclad