作者：Hala Almaghout、Christian Federmann、Qin Gao
大语言模型（LLM（大语言模型））被认为是机器翻译（MT）评估中比人工判断更高效、更具成本效益的替代方案。由于机器翻译评估涵盖大量语言对、领域和标注粒度级别，在将 LLM 可靠地用作人工评估的替代方案之前，必须沿这些维度对其进行全面评估。在本文中，我们针对两种重要的机器翻译质量评估方案——多维质量指标（MQM）和错误片段标注（ESA），通过比较 LLM 与人工标注者之间的一致性来评估 LLM 的表现。我们展示了在包含 70 个语言对的长上下文测试集以及公开可用的 WMT23 和 WMT25 数据上的结果，考察了多种语言对和领域下的分数与错误片段标注一致性。我们的结果表明，尽管在某些评估任务中 LLM 与人工标注者之间的一致性超过了人工标注者之间的一致性，但两者在不同标注方案、语言对和领域之间差异显著，且在大多数设置下仍不可靠。此外，我们识别了人工和 LLM 标注者共同面临的挑战：人工标注者尤其受到细粒度 MQM 标注和低资源语言对的挑战，而 LLM 则在细微错误、错误语言变体和错误片段标注方面表现不佳。我们的结果凸显了人工和 LLM 标注性能均有提升的潜力，可能通过人机协作标注流程来解决本工作中识别出的可靠性问题。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：Apple ML Research
原创地址：https://machinelearning.apple.com/research/llm-translation-quality-annotation
原文作者：Apple ML Research；如有侵权，请联系管理员删除。
