作者 Tianjian Li†, Jingyu Zhang†, William Jurayj†, Xi Wang†, Chuanyang Jin†, Mehrdad Farajtabar, Eric Nalisnick†, Daniel Khashabi†
由思维链和工具调用组成的长智能体轨迹会累积过时内容，这些内容会锚定后续生成，并最终超出上下文窗口。现有脚手架通过在 token 阈值处触发固定间隔压缩来缓解这一问题。此类触发机制不考虑轨迹结构，存在在推导或搜索中途丢弃部分结果的风险。我们提出 SELFCOMPACT，一种允许模型自身决定何时以及如何压缩的脚手架。具体而言，它将两个推理时元素配对：(i) 模型调用以总结累积上下文的压缩工具，以及 (ii) 一个轻量级评分标准，规定何时触发（子任务已解决，或轨迹正在收敛）以及何时抑制（推导中途，或陷入困境时）。两者缺一不可。仅使用工具时，不同开放权重模型的使用情况不均衡，常常在无益的时刻调用或根本不调用；仅使用评分标准则无法采取行动。两者结合，无需任何微调或外部监督即可引出有效的自适应压缩。我们在六个基准（竞争性数学和智能体搜索）和七个模型上展示了实证结果。我们的结果表明，SELFCOMPACT 以一小部分 token 成本达到或超过固定间隔摘要，在数学上比无摘要基线提升高达 18.1 分，在智能体搜索上提升 5–9 分，同时每题成本降低 30–70%。我们的结果揭示了一个元认知差距：尽管未经提示的模型无法可靠判断自身上下文何时腐化，但一个轻量级评分标准可以弥合这一差距，将何时压缩重新定义为脚手架无需训练即可提供的能力。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/self-compacting-language-agents
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
