关键字: [SageMaker, Human-Driven Evaluation, Large Language Models, Foundation Model Evaluation, Sagemaker Evaluation, Human Labeling]

本文字数: 400, 阅读完需: 2 分钟

导读

在这段视频中, 讲者探讨了如何利用 Amazon SageMaker 的人工评估功能来评估大型语言模型(LLMs) 的表现。她阐释了自动评估与人工评估之间的差异, 并演示了如何通过 SageMaker 用户界面为多个 LLMs 设置人工评估任务。该演示重点展示了 SageMaker 如何支持创建自定义评估任务、配置人工标注团队, 以及在 S3 存储桶中查看标注后的输出结果。讲者还强调, 人工评估在评价创造力、风格和品牌一致性等难以通过预建指标捕捉的方面具有优势。

演讲精华

在视频中,Emily 详细阐释了如何在亚马逊云科技SageMaker 中设置人工驱动的大型语言模型(LLM) 评估流程。

她首先解释了自动LLM 评估与人工驱动评估的区别。自动评估利用预建的指标、算法和数据集, 可评估模型在准确性、鲁棒性、有毒性和偏见等方面的表现, 通常基于标准数据集进行评估。而人工评估则更适用于那些难以用数学方法很好定义的评估任务, 如创造力、风格、品牌一致性和语气等。人工评估需要客户自行提供提示, 而非使用预建数据集。自动评估的输出是0 到1 之间的分数, 表示模型在特定指标上的表现, 而人工评估的输出则是基于用户的总体审批率和偏好评分。

接下来,Emily 演示了如何在SageMaker Studio 中设置人工评估作业。首先, 需要为IAM 执行角色添加STS AssumeRole 权限, 并为S3 存储桶添加CORS 策略。然后, 需要准备提示和可选的参考答案, 并将它们以JSON 行格式存储在S3 存储桶中。 她展示了一个来自SageMaker 常见问题解答的示例数据集, 包含一个问题的提示、两个模型的回答以及参考答案。

在配置作业时, 她选择了大型的Mistral 模型和Falcon 模型进行评估。她选择了开放式生成作为任务类型, 并为流畅度、连贯性、有毒性和准确性等指标选择了不同的评分方式, 如排序、1 到5 的序数评分和赞同/ 否定的二元评分。她还配置了S3 存储桶路径用于存储作业数据, 选择了m5.xlarge 的实例类型用于运行评估作业的处理器。

在配置工作团队时, 她解释了可以设置每个提示的工作人员数量, 使用多个工作人员可以帮助解决任何分歧或混淆。她还提到建议随机化模型响应的顺序, 以避免工作人员产生偏好。工作人员将通过电子邮件获取标注链接。

最后, 她展示了标注界面, 其中包含任务说明、提示内容、模型输出以及各个评估指标的评分区域。她以SageMaker 常见问题解答中的一个示例问题为例, 模拟了一个评分过程。对于第一个模型输出, 她给出了2 分的流畅度评分, 解释是因为第二句是一个分句。对于第二个模型输出, 她给出了略高的3 分流畅度评分。对于连贯性, 她给出了相同的评分。而对于有毒性和准确性, 她都给出了1 分的最低评分, 因为两个模型输出都没有回答问题。完成评分后, 结果将存储在配置的S3 存储桶中, 以供后续分析和处理。

通过这个视频, 观众可以全面了解如何利用SageMaker 提供的人工驱动LLM 评估功能, 评估大型语言模型的输出质量。Emily 的演示涵盖了整个流程, 包括数据准备、模型选择、任务类型和评估指标配置、工作团队设置, 以及标注界面的使用方式, 为客户提供了一种有效的评估方法。

总结

在这个富有洞见的视频中,Emily 深入探讨了使用Amazon SageMaker 对大型语言模型(LLMs) 进行人工评估的复杂性。她强调了这种方法在评估诸如创造力、风格、品牌一致性和语气等主观方面的重要性, 这些方面很难用数学方式量化。

该视频凸显了自动评估和人工评估之间的关键区别。虽然自动评估依赖于预建的指标、算法和数据集, 但人工评估允许根据特定需求定制提示和评估标准。Emily 演示了如何设置人工评估作业、配置模型、任务和评估指标, 以及创建标注团队。她展示了标注体验, 其中标注人员根据流畅性、连贯性、有害性和准确性, 使用各种评分方法( 如Likert 量表和序数排名) 对响应进行评分。

最后,Emily 强调了人工评估在捕捉LLM 输出的细微差异方面的价值, 使组织能够根据其独特的要求评估模型性能, 并确保与其品牌语音和语气保持一致。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。