为了帮助 AI 开发者更准确地评估模型能力，IBM Research 与圣母大学正在开源一个模板和自动化工具，用于大规模创建 LLM（大语言模型） 基准卡片。

如今 AI 的许多进展都可归功于基准测试——这些严谨、标准化的测试旨在揭示大语言模型能做什么、不能做什么，并推动进一步的创新。

基准测试提供了一种结构化方式，用于并排比较模型，并评估其偏见、风险以及对特定任务的适用性。一个 LLM 的受欢迎程度可能因其基准分数而上升或下降。那么，为什么这些人人共享的成败攸关的考试，其文档却如此糟糕？

IBM Research 的高级技术员工 Elizabeth Daly 在审视基准文档不一致、往往不完整的状态时，一直这样问自己。

“我开始看到可用信息与测试框架中信息表示方式之间存在巨大的脱节，”她说。“基准测试是在告诉你模型真的很擅长代数，还是只在测试题以多项选择题形式呈现时才如此？”

当时，Daly 和 IBM 其他研究人员正在为 IBM 的 AI 治理平台 watsonx.governance 开发模型风险评估引擎。他们共同意识到，要正确评估一个 LLM 的能力，就必须理解究竟在评估什么以及如何评估。

当然，模型卡片可以告诉你一个 LLM 是如何设计、训练和评估的。但有时，最有意义的信息隐藏在基准测试的细则中，而这些细则通常埋藏在学术研究论文里。

基准测试是否被正确实现、一致应用，其结果是否被正确解读？核对这些事项的负担通常落在开发者身上。如果改为提供易于阅读的摘要，会怎样？

IBM 已经与圣母大学的研究人员开展了合作。他们共同构思了 BenchmarkCards 项目，制定了一个模板和自动化工作流，用于生成并验证新的基准卡片。本周，他们在 Hugging Face 上开源了 105 张经过验证的基准卡片。圣母大学另行发布了一个包含 4,000 张基准卡片的数据集。

LLM 基准测试中一些最知名的项目都在这里——加州大学伯克利分校用于衡量 LLM 对话技能的 MT-Bench、Allen AI 用于常识“推理”的 WinoGrande，以及牛津大学用于检测“幻觉”倾向的 TruthfulQA。

团队呼吁社区试用这些基准卡片，并创建自己的卡片，以帮助推广这一标准。“从长远来看，我们希望这些卡片能成为描述评估资源的通用语言，以减少冗余，并帮助该领域更协调地发展，”参与该项目的圣母大学 Lucy Family Institute for Data and Society 博士生 Anna Sokol 说。

基准测试的解剖

IBM 和 Google 在 2019 年分别成为首批创建 AI 专用文档（称为 fact sheets 和 model cards）的科技公司之一。就像食品的营养标签一样，它们为消费者提供了所需的事实，以便权衡在特定场景（如贷款、简历筛选和警务等）中应用 AI 的利弊。

IBM 和 Notre Dame 的研究人员试图为基准测试带来类似的透明度和结构化。通过让细则更易于获取，他们希望帮助开发者和其他研究人员更轻松地找到适合其需求的基准测试，并更好地预测其基准测试模型在现实世界中的表现。

团队设计的模板包括基准测试的高层概览和五个部分，首先是 Purpose（目的）：列出适当和不适当的用途；然后是 Data（数据）：详细说明数据来源、规模、表示类型和标注过程；Methodology（方法论）：解释指标如何计算以及应如何解读；Targeted risks（目标风险）：识别在测试中表现不佳的模型可能产生的有害结果；最后是 Ethical and legal considerations（伦理和法律考量）：涵盖数据许可和相关隐私法规。

每个基准测试卡片都会列出具有相似目标的基准测试。标准化格式还简化了基准测试之间的比较，使开发者能够做出更明智的选择。研究人员通过将 NYU 2021 年基准测试 Bias Benchmark for Question Answering (BBQ) 的卡片与 Allen AI 2020 年基准测试 RealToxicityPrompts (RTP) 的卡片并列展示，说明了这如何发挥作用。

通过这种同类比较，一家社交媒体公司可以看出，RTP 是测试 LLM 过滤有害输出能力的最佳方式，而审计问答系统公平性的研究人员则会发现 BBQ 更有助于识别偏见。

“很难知道该信任哪个基准测试、如何解读分数，或者两个基准测试是否具有可比性，”Sokol 说。“如果你在研究 LLM 幻觉，你怎么知道该从几十个基准测试选项中选择哪一个？”

填补空白

从研究论文中提取和总结方法论细节可能既繁琐又耗时。团队此前的一项用户研究表明，这可能正是基准测试一开始就记录得如此糟糕的原因。

为了加快记录流程，DHBW Stuttgart 的数据科学学生 Aris Hofmann 在 IBM 实习期间设计了一个自动化工作流。他说，以前创建一张基准测试卡片需要几个小时。现在，10 分钟就能完成。该工作流利用了多个在 IBM Research 孵化的开源技术，包括 unitxt、Docling、Risk Atlas Nexus 和 FactReasoner。

该工作流从 IBM 的 unitxt catalog 中选择一个基准测试，并下载所列基准测试的已知文档（Hofmann 录制的这个 demo 中有所展示）。文档转换工具 Docling 用于将材料转换为机器可读文本，然后将其传递给 LLM，以提取相关细节并填入模板。

基准测试卡片草稿完成后，IBM 的 Risk Atlas Nexus 会标记并向卡片添加潜在风险因素。草稿会被传递给 IBM 的事实核查工具 FactReasoner，以检查每项声明的准确性。该工具会标记可能与支持材料相矛盾的陈述，然后可由 LLM 或人工进行更正。

“我们不只是把信息放进 LLM，然后让它综合一堆上下文，我们实际上是在验证它，”Daly 说。

基准测试卡片旨在延续模型卡片未竟的工作。“它们能让你从更具情境化的视角了解模型的行为，”她补充道。“我们的目标是帮助开发者更有效地向利益相关者说明，为什么某个模型更适合他们的用例。”

如需查看团队已创建的基准测试卡片，请前往 Hugging Face，或使用 Auto-BenchmarkCard 简单易懂的说明创建你自己的卡片。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/documentation-for-LLM-benchmarks