ITPub博客

首页 > 人工智能 > 人工智能 > 评估评估者:探究用于个性化写作风格评估的大语言模型评判者

评估评估者:探究用于个性化写作风格评估的大语言模型评判者

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

作者 Natalie Mackraz‡、Andrew Silva、Aini Putkonen、Brihi Joshi†**、Joelle Alcaidinho、Arnav Arora§**、Barry-John Theobald、Katherine Metcalf‡

本文已被 NeurIPS 2026 的 Can We Trust AI Evaluation? Workshop 接收。

我们评估了大语言模型(LLM(大语言模型))评判器在个性化写作任务上的表现。当用户偏好的写作风格已知(例如“ upbeat”)并且使用 LLM 评判器来评估生成文本是否符合这一偏好时,这一点尤为重要。我们考察了写作任务、生成器与评判器 LLM 的组合、评估目标,以及通用常识和推理能力如何影响 LLM 评判器的性能。为此,我们使用四个 LLM 为三个长文本写作任务生成文本,收集人类标注以评估两个回答中哪一个更好,收集评判器 LLM 的成对排序标注,然后比较人类标注与评判器 LLM 标注。我们发现,评判器质量与使用 MMLU 衡量的通用 LLM 能力相关性较弱(Pearson's ρ ≤ 0.2),并且随写作任务和评估标准(即通用有用性与风格个性化)而变化。我们还发现,LLM 评估器在使用成对比较而非独立评分回答时更加一致且性能更好。最后,我们发现“最强”的 LLM 并不能最可靠地复现人类评估,我们假设这与它们对人类标注者和较弱 LLM 所忽略的细微细节的过度敏感有关。



转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:Apple ML Research

原创地址:https://machinelearning.apple.com/research/evaluating-evaluators-llm-judges

原文作者:Apple ML Research;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    573027