作者 Jingtan Wang†**、Sirajul Salekin、Young mok Jung、Javier Movellan、Bryan Kian Hsiang Low†、Manjot Bilkhu
在多样化的交互环境中联合训练单个 LLM（大语言模型） 智能体，作为通往通用智能体的一条路径，已引起越来越多的关注。现有的课程学习和数据选择策略通常按环境层面分配训练，或优先考虑基于局部奖励的信号，而没有在提示组选择时明确考虑跨环境当前 rollout 之间的关系。与此同时，由于不同环境的学习速度不同，全失败和全成功的 rollout 组可能在同一批次中共存，使这些数据缺乏组相对奖励信号。这两个挑战都凸显了在多环境 RL 中仅依赖标量奖励的局限性：它们提供的跨环境关系信息有限，且当奖励相同时缺乏组内奖励对比。这促使我们使用更丰富的文本反馈（例如描述 rollout 行为的评分标准）来指导学习。除了将评分标准用作奖励之外，我们还将其重新用于指导在线数据选择和策略监督。一个 LLM 评判器使用跨环境共享的预定义评分标准词汇表为每个 rollout 打标签。由此得到的画像指导选择与混合环境批次整体行为组成一致、同时限制与已选数据重叠的数据。可用的正向评分标准（描述期望行为）为同策略自蒸馏教师提供特权上下文，提供额外的 token 级监督，而负向评分标准（描述不期望行为）则指导后续 rollout 生成远离反复出现的失败模式。这些组件共同构成了 RISED。在不同模型骨干上，RISED 在各环境中取得了最高的平均通过率，并在每个单独环境中排名第一或第二。基于评分标准对 RISED 的分析可以进一步刻画伴随这些收益出现的行为变化。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/rised-multi-environment-selection
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
