更高的缓存命中率，以及帮助持久化智能体运行更快、成本更低的新工具。

GPT‑6 使持久化智能体能够处理复杂任务数小时之久，从重构代码库到生成经过充分研究的文档和演示文稿。这些智能体背后的应用程序会发出一系列相互构建的 API（应用程序编程接口） 请求，通常会沿用之前轮次中的相同指令、工具定义和上下文。OpenAI 会缓存这些共享上下文，以便在多个请求之间复用计算，从而缩短响应时间，并为开发者提供高达 90% 的缓存输入 token 折扣。

借助 GPT‑6 系列，我们推出了改进的提示缓存系统，默认提供更高的缓存命中率。我们现在为在 30 分钟窗口内复用的符合条件的共享前缀提供缓存折扣。我们还引入了新工具，帮助开发者监控缓存性能、诊断未命中，并选择要缓存多少提示内容。

“OpenAI 的提示缓存在帮助 GitHub Copilot 大规模提供快速、高效体验方面发挥着关键作用。在过去几个月里，相对于我们之前的基线，在向 OpenAI 模型发出的数十亿次请求中，我们将需要全新处理的提示 token 占比降低了 50% 以上。其结果是更高效的推理栈，以及开发者获得首个响应的时间更快。” —Mario Rodriguez，首席产品官

监控缓存并诊断缓存未命中

新的 Prompt Caching Dashboard ⁠（在新窗口中打开）会显示你的应用程序输入中有多少来自缓存。跟踪一段时间内的命中率，并使用输入构成图表比较已缓存和未缓存的 token。这些视图可帮助你发现缓存命中的下降，并评估应用程序变更如何影响缓存性能。

当你看到意外的缓存未命中时，使用提示缓存诊断工具 ⁠（在新窗口中打开）来了解发生了什么。将某个请求与最近的响应进行比较，以识别导致无法复用的模型、工具、设置或输入变更。受影响 token 的估算数量可帮助你评估影响规模，并决定如何优化集成以最大化缓存命中率。

{
  "prompt_cache_diagnostics": {
    "type": "cache_miss",
    "reason": "tools_changed",
    "comparison_reusable_tokens": 5629,
    "cache_missed_tokens": 5629
  }
}

为你的应用程序优化缓存

选择要缓存的内容。显式缓存断点让你选择要复用哪些提示前缀。更新后的提示缓存指南 ⁠（在新窗口中打开）说明了如何使用它们、缓存前缀保持符合条件的时长，以及工具和输入变更如何影响复用。

在不破坏缓存的情况下调整推理强度。在 GPT‑6 模型上，你现在可以在响应之间更改推理强度 ⁠（在新窗口中打开），而不会破坏缓存。通过追加 configuration_update，同时保持请求级推理强度不变，可为更难的任务提高强度，或为常规后续任务降低强度。这让你可以调整任务所需的推理量，同时保留可复用上下文。

在工具和指令变化时保留缓存。随着你的智能体工具使用需求变化，保持工具定义、schema 和顺序稳定，以便较早的上下文保持可复用。使用 allowed_tools 仅使相关工具可调用，或在不需要工具时将 tool_choice 设置为 none，而不是移除定义。使用新的 developer 消息在上下文末尾追加新指令，以覆盖较旧的指令。请参阅我们关于管理工具变更的指南 ⁠（在新窗口中打开）。

预热缓存以降低延迟。预热（在新窗口中打开）会提前准备已知上下文，使模型在请求到达时能更快开始响应。例如，应用程序可以在启动期间预热共享指令、工具定义或参考资料，在用户提出第一个问题之前完成。这将处理过程移出用户的等待时间。

这些可选控制建立在引擎默认性能之上，帮助您根据工作负载定制缓存。

“OpenAI 的提示缓存诊断和仪表板帮助我们将缓存命中率提高了几个百分点，成本降低了 20%。现在当缓存意外中断时我们会收到警报，并使用 Codex 智能体来诊断根本原因。显式断点还让我们能够缓存稳定上下文，同时将频繁变化的内容保留在提示末尾。这使得为后台任务分叉对话在经济上变得可行，同时复用几乎全部共享上下文。”——Arian Hanifi，首席技术官

“对于像 Manus 这样的长时间运行的智能体，可靠的缓存是经济性的基础。我们与 OpenAI 的工程团队合作，优化了缓存断点位置，结合了显式和自动缓存，并使用真实请求来定位意外的缓存未命中。在不到一周的时间里，我们的 OpenAI 模型缓存命中率从大约 85% 提升到稳定超过 90%，进一步降低了生产环境中的推理成本。这一进展来自一系列有针对性的改进，两个团队全程验证了结果。”——Bin Fan，智能体团队负责人

“我们与 OpenAI 合作，将会话智能体迁移到显式缓存断点。在不到一周的时间里，我们评估中的缓存命中率从 83% 上升到 91%。这意味着在相同工作负载下，缓存写入更少、推理成本更低；缓存写入减少了约三分之二，推理成本降低了 36%。”——Eugene Mikhantyev，AI 工程师

• Strawberry Browser

• Manus

• Wordsmith

• Strawberry Browser

• Manus

• Wordsmith

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：OpenAI Blog

原创地址：https://openai.com/index/better-prompt-caching-for-gpt-6