关键字: [SageMaker Clarify, Foundation Model Evaluation, Large Language Models, Model Evaluation Dimensions, Evaluation Algorithms, Built-In Datasets]

本文字数: 1100, 阅读完需: 6 分钟

导读

艾米丽· 韦伯是亚马逊云科技(Amazon Web Services) 的一位主要机器学习专家解决方案架构师。她在一场亚马逊云科技活动上发表了题为”SageMaker Clarify 基础模型评估” 的演讲。在演讲中, 她探讨了如何利用 SageMaker Clarify 评估大型语言模型。她阐明, 该工具提供了跨准确性、有害性和事实知识等维度的自动和人工驱动评估, 并支持文本生成、摘要和问答等各种任务。 该演讲重点介绍了 SageMaker Clarify 如何在几分钟内实现对基础模型的质量和责任性评估, 建立对这些模型的信任, 并满足合规性标准。

演讲精华

亚马逊云科技的解决方案主要架构师艾米丽· 韦伯就评估大型基础模型进行了详细介绍。她强调, 评估大型语言模型输出的质量和可靠性是一个关键问题, 因为这些模型为组织及其客户解锁了各种令人兴奋的应用和解决方案。SageMaker Clarify 推出了一项全面的基础模型评估功能, 可在几分钟内根据特定的用例和数据集评估模型的质量和责任, 从而建立对这些基础模型的信任, 并支持运行更多利用生成式AI 优势的工作负载。

评估大型语言模型是一项复杂且严格的任务。SageMaker Clarify 提供了对这一科学且严格的能力的访问, 使普通Python 开发人员能够以高度严格的方式评估大型语言模型。该功能包括自动化评估, 主要基于指标和模型, 但也包括涉及注释团队的人工评估。这使组织能够满足各种框架中的合规性标准。

与该库有两种交互方式: 通过Python 框架和正在开发的开源库, 或通过SageMaker Studio 控制台中的无代码助手。首先, 用户从所有SageMaker 模型中选择要评估的模型, 包括SageMaker Jumpstart 模型( 如7 亿参数的Falcon) 和自己托管在SageMaker 上的模型。在Python 库中, 他还可以通过提供API 密钥引入自己的任意或第三方模型, 如Bedrock 。

接下来, 他配置评估任务, 可以是一般开放式生成、摘要( 例如总结文档或长对话) 、问答( 生成正确答案或从多项选择中选择) 或语言模型分类( 对给定文本进行分类) 。

接下来, 用户选择评估类型, 可以是人工评估或自动化评估。评估维度包括准确性、语义鲁棒性( 理解语法细微差别和同义词的能力) 、提示偏见、有害性、事实知识( 提供一组需要掌握的事实数据) 或自定义维度。每个维度都有一组开源算法供用户检查和修改。内置了一些数据集, 如用于事实知识的T-REx 、用于语义鲁棒性的BOLD 、用于提示偏见的CrowS Pairs, 用户也可以提供自己的数据。

最后, 用户配置并运行处理作业, 通常使用m5.4xlarge 实例以获得良好的性能。这将创建一个注释作业, 团队可以加入其中手动评估提示和回答。结果( 包括详细报告) 可从指定的S3 存储桶下载。评估完模型后, 用户可以比较多个模型, 并使用这些评估来驱动其MLOps 和治理工作流程。

Emily 强调, 这一功能可用于选择最佳模型、优化提示工程、调试增强生成、驱动模型微调、通过使用更小更便宜的模型来降低成本、执行模型迁移、进行RLHF( 人类反馈强化学习) 等。它有助于提供量化数据, 并促进语言模型开发和部署周期的各个阶段之间的过渡。

Emily 还演示了如何在SageMaker Studio 的用户界面中使用这一功能, 评估70 亿参数的Falcon 模型在有害性和事实知识维度上的表现, 使用内置的BOLD 、CrowS Pairs 和T-REx 数据集。她分享了400 亿参数Falcon 模型的详细评估报告, 包括按主题细分的有害性评分和提示示例, 以及事实知识信息。

总而言之,SageMaker Clarify 的基础模型评估功能为评估和优化大型语言模型在各个维度上提供了全面且严格的支持, 有助于建立对这些模型的信任, 并促进它们在更多工作负载中的应用。该功能提供了自动化和手动评估工具、内置数据集、详细报告, 并且能够引入自有数据和模型。

总结

该演讲概述了Amazon SageMaker Clarify 新推出的基础模型评估功能, 旨在全面评估大型语言模型的质量和责任性。重点内容包括:

1)       评估对于评定大型语言模型的准确性、偏差、有害性和整体性能至关重要, 有助于摒弃主观判断, 转向基于数据的定量指标。

2)       SageMaker Clarify 的基础模型评估套件提供自动评估( 使用内置指标和数据集) 和人工评估( 涉及标注团队, 针对特定用例和数据集) 两种方式。

3)       评估过程包括选择模型、配置任务( 如开放式生成、摘要、问答等) 、选择评估维度( 准确性、有害性、事实知识等), 并使用内置或自定义数据集和算法运行作业。

总的来说, 这一全面的评估套件使开发人员能够建立对基础模型的信任, 优化其性能, 并通过量化模型在各个维度上的质量和责任性, 推动负责任的AI 治理和MLOps 工作流程。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。