作者 Natalie Mackraz‡、Andrew Silva、Aini Putkonen、Brihi Joshi†**、Joelle Alcaidinho、Arnav Arora§**、Barry-John Theobald、Katherine Metcalf‡
本文已被 NeurIPS 2026 的 Can We Trust AI Evaluation? Workshop 接收。
我们评估了大语言模型(LLM(大语言模型))评判器在个性化写作任务上的表现。当用户偏好的写作风格已知(例如“ upbeat”)并且使用 LLM 评判器来评估生成文本是否符合这一偏好时,这一点尤为重要。我们考察了写作任务、生成器与评判器 LLM 的组合、评估目标,以及通用常识和推理能力如何影响 LLM 评判器的性能。为此,我们使用四个 LLM 为三个长文本写作任务生成文本,收集人类标注以评估两个回答中哪一个更好,收集评判器 LLM 的成对排序标注,然后比较人类标注与评判器 LLM 标注。我们发现,评判器质量与使用 MMLU 衡量的通用 LLM 能力相关性较弱(Pearson's ρ ≤ 0.2),并且随写作任务和评估标准(即通用有用性与风格个性化)而变化。我们还发现,LLM 评估器在使用成对比较而非独立评分回答时更加一致且性能更好。最后,我们发现“最强”的 LLM 并不能最可靠地复现人类评估,我们假设这与它们对人类标注者和较弱 LLM 所忽略的细微细节的过度敏感有关。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:Apple ML Research
原创地址:https://machinelearning.apple.com/research/evaluating-evaluators-llm-judges
原文作者:Apple ML Research;如有侵权,请联系管理员删除。