在教师模型生成的轨迹上进行监督微调，是将工具调用能力蒸馏到可部署模型中的标准第一阶段。驱动已发布工具调用智能体的后训练流水线会以每日或每周的节奏重新运行这一阶段，每个周期都要支付前沿教师模型的成本，然而其机制是生成并过滤（保留教师模型通过的轨迹，丢弃其余部分），并且每个周期都会留下相同的困难场景，因为失败无法提供任何信号。在 τ 2-bench 上，57% 的教师试验失败，其中三分之二是接近成功的失败（大多数工具调用正确，但被一个决定性错误所破坏）。
我们提出 PROOF-Gen（Per-scenario Reflective Optimization to Overcome Failed Generation，逐场景反思优化以克服失败生成），它通过逐场景提示优化从这些失败中恢复黄金轨迹。对于每个失败任务，一个反思器会分析执行轨迹和评估反馈，然后编写纠正性指导，引导教师模型走向通过的轨迹。该指导在训练前会被剥离，因此学生模型从干净的演示中学习，不包含任何任务特定的脚手架。
在 τ 2-bench 上，逐场景优化恢复了 93% 的失败场景。在合并数据上微调后，Qwen3-4B-Instruct-2507 从 Passˆ1=0.132 提升至 0.529，Gemma 4 E4B-it 在 BFCL v4 多轮任务上提升 +7.2pp。在已部署的流水线中，该方法将轨迹质量提升 +6.3pp 的目标完成率，并迁移到已部署的端侧模型（+1.5pp 目标完成率；在响应质量指标上提升 +1.7 至 +5.0pp），在所有语言区域均实现正向迁移（非英语平均 +1.48pp）。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/proof-gen-optimized-distillation
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
