关键字: [Amazon Bedrock, Foundation Model Evaluation, Model Selection, Generative Ai Application, Automatic Evaluation Metrics, Human Evaluation Metrics]

本文字数: 400, 阅读完需: 2 分钟

导读

在这次演讲中,Jesse 和 Kishore 阐释了如何利用 Amazon Bedrock 的模型评估功能, 为生成式人工智能应用程序评估和选择合适的基础模型。他们解释说, 模型评估涉及评估模型响应的质量、成本和延迟; 具体而言, 他们强调 Amazon Bedrock 提供了自动和人工评估指标、精心策划的数据集或使用自定义数据的能力, 以及选择由亚马逊云科技管理的团队或您自己的团队进行人工评估的选项。该演讲重点介绍了 Amazon Bedrock 如何简化模型评估流程、缩短周期时间, 从而使构建和扩展生成式人工智能应用程序变得更加便捷高效。

演讲精华

以下是小编为您整理的本次演讲的精华，共100 字，阅读时间大约是0 分钟。

在re:Invent 大会上,Jesse 阐述了模型评估在构建生成式AI 应用程序时的重要性, 需要权衡模型推理质量、成本和延迟三者之间的平衡。评估过程旨在确保所选模型与公司品牌语音、写作风格相符, 能够使用公司自有数据进行良好表现, 并确保模型和应用程序的安全性、可信赖性和公正性。

客户反馈显示, 寻找合适模型的过程通常耗时耗力, 主要痛点包括寻找模型托管环境、确定评估指标和算法、获取数据集、部署基础设施、进行人工评估、综合自动评估和人工评估结果等, 这个过程可能需要数周甚至数月时间。

为解决这些挑战, 亚马逊云科技推出了Amazon Bedrock 模型评估功能。该功能允许客户使用亚马逊云科技提供的开源数据集或上传自有数据集进行评估, 确保模型在公司特定领域的表现。亚马逊云科技提供了自动评估和人工评估指标, 涵盖准确性、健壮性和无害性等方面。在人工评估中, 客户可以使用自有团队或亚马逊云科技管理的工作团队。亚马逊云科技不仅提供了预定义的评估指标, 还允许客户自定义指标, 特别是人工评估中的创造力和风格等指标。客户只需几次点击即可设置评估作业, 大大简化了流程。

自动评估流程包括选择模型、任务类型、指标和数据集。亚马逊云科技提供了四种任务类型: 文本生成、摘要、问答和分类。客户可从多个模型供应商中进行选择, 包括亚马逊云科技自家的Titan 模型系列、Anthropic 、Cohere 和Meta 等。亚马逊云科技会自动计算评分并提供结果报告。

人工评估流程包括选择模型数量(1 个或2 个) 、任务类型、评估指标、上传数据集、创建工作团队、设置评估说明。工作人员将根据说明对模型输出进行评分, 亚马逊云科技会汇总所有评分并生成报告。如果使用亚马逊云科技管理的工作团队, 客户只需填写请求表单说明需求, 亚马逊云科技团队将与客户协商、签订SOW, 并在评估结束后提供结果报告和项目经理支持。

评估报告将显示每个指标的评分分布、自动评估分数、工作团队说明、推理配置等详细信息。亚马逊云科技还提供了模型延迟和成本的评估, 与质量评估结果一并呈现, 帮助客户权衡三者之间的平衡。

在产品演示环节,Kishore 首先展示了自动评估的操作流程。他创建了一个名为”reinvent live” 的评估作业, 选择了亚马逊云科技的Titan Light 模型、文本生成任务类型, 以及3 个指标: 无害性( 使用内置的”Real Toxicity Prompts” 数据集) 、准确性( 使用内置的”TruthsAndStatements” 数据集) 和健壮性( 使用自定义的JSONL 数据集) 。他还选择了结果存储的S3 位置并提供了执行作业所需的IAM 角色。完成后,Kishore 查看了一个已完成作业的结果摘要、配置信息和原始数据。

接下来,Kishore 创建了一个人工评估作业”reinvent live human eval”, 选择了两个模型进行比较评估, 任务类型为问答。他选择了默认评估指标如准确性, 并添加了一个自定义指标” 友好度” 。然后上传了一个包含24 个提示语句的数据集, 设置了至少1 名工作人员对每个提示语句进行评分的要求, 并为工作人员提供了评估说明。Kishore 还展示了工作人员将看到的评分界面, 包括提示语句、模型响应输出、参考答案( 可选) 以及用于评分的按钮和尺度。工作人员完成评分后, 亚马逊云科技会自动汇总并生成报告, 其中显示了评分分布、作业配置、工作人员说明和原始评分数据。

最后,Kishore 演示了如何请求亚马逊云科技管理的工作团队进行评估。客户需填写一份请求表单, 说明评估的任务类型、所需专业知识领域以及大致的提示语数量。亚马逊云科技团队将与客户协商具体需求、签订SOW, 并在评估结束后提供结果报告和项目经理支持。

Jesse 解释说,Amazon Bedrock 模型评估功能旨在简化和加速模型选择过程, 使客户能够更高效地为其生成式AI 应用程序选择合适的基础模型。他提到了一些客户案例, 说明了评估功能的应用场景:

1)       某公司希望构建一个应用程序, 通过总结客户支持工单来帮助减少客户支持团队的工作量。在这种情况下, 评估功能可以帮助该公司选择一个能够准确总结工单内容的模型, 确保应用程序的输出符合预期。

2)       另一家公司希望开发一个聊天机器人应用程序, 能够以该公司特有的语气和风格与客户进行交流。通过评估功能, 该公司可以测试不同模型在特定数据集上的表现, 选择最能捕捉其品牌语音的那一个。

3)       某公司需要处理大量客户数据, 希望构建一个应用程序来帮助识别和消除数据中可能存在的偏见。评估功能可以让该公司测试不同模型在公平性和安全性方面的表现, 选择 要求的模型。

通过提供数据集、评估指标、工作团队和报告等一站式服务, 亚马逊云科技希望降低客户的评估工作量, 让他们专注于应用程序构建。Jesse 和Kishore 的演示向观众展示了该功能的具体操作流程和界面, 并重申了亚马逊云科技在此领域的产品优势和价值主张。

总结

亚马逊云科技的Amazon Bedrock 平台现在推出了模型评估功能, 旨在协助客户为其使用案例选择最佳的基础模型。这一新功能意在简化通常冗长且乏味的评估和选择合适模型的过程, 该过程通常需要寻找合适的数据集、定义指标、设置基础设施和进行人工评估。

Amazon Bedrock 模型评估的关键方面包括:

1)       能够使用精心策划的数据集或引入自有数据, 以评估模型在客户公司的特定领域和数据上的表现。

2)       自动评估指标, 如准确性、稳健性和有害性, 以及人工评估指标, 如连贯性、完整性和自定义标准。

3)       选择使用客户自己的专家作为人工评估团队, 或利用亚马逊云科技管理的劳动力。

4)       使用预定义的指标和说明轻松设置评估工作, 并清晰报告结果。

Amazon Bedrock 上的模型评估功能旨在简化为生成式人工智能应用程序寻找合适基础模型的过程, 确保其与客户公司的品牌语音保持一致、在客户的数据上表现良好, 并满足安全和公平标准。通过在用于生产的同一平台上整合评估过程,Amazon Bedrock 简化了从模型选择到应用程序部署的过程。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。