关键字: [fm_eval, Foundation Model Evaluation, Open-Source Library, Large Language Models, Standard Nlp Metrics, Custom Datasets]

本文字数: 400, 阅读完需: 2 分钟

导读

在这段视频中,Emily Weber, 一位来自亚马逊云科技的机器学习专家解决方案架构师, 介绍了用于评估大型语言模型的开源FM Eval 库。她阐述了该库如何允许运行标准NLP 指标, 与亚马逊云科技工具像SageMaker 和Bedrock 集成, 并通过数据集、模型和评估指标的插件实现定制化。Emily 演示了如何设置该库来评估JumpStart 模型, 配置模型运行器、数据集和评估算法, 并在本地运行评估作业。该库通过将模型的输出与地面真实数据集进行比较, 生成了事实知识、分类准确性和其他指标的评分。

演讲精华

这个视频由 亚马逊云科技 的Emily Weber 女士主讲, 她是一位机器学习专家解决方案架构师。视频的主旨是介绍开源Python 库fm eval, 该库可用于评估大型语言模型的性能。

Emily 首先阐释了fm eval 库的作用。它是一个开源的Python 库, 可用于评估任何所需的大型语言模型。该库的核心功能与SageMaker Studio 中的托管图形用户界面相对应, 但以软件开发工具包(SDK) 框架的形式提供相同的功能, 而非用户界面。这使得它更易于自定义和集成到管道中, 但对于不感兴趣编码的人来说, 该库可能不太实用。

该库可以轻松运行标准自然语言处理指标, 常用于评估大型语言模型。它与亚马逊云科技工具( 如SageMaker 和Bedrock) 集成良好。该库非常灵活, 具有用于完全自定义的插件, 包括自定义数据集、模型和评估指标。

使用该库的第一步是指向待评估的模型。通常使用一个称为模型运行器(model runner) 的Python 对象来指向所带的模型。对于JumpStart 中已有的模型, 有一个JumpStart 模型运行器; 对于自己托管在SageMaker 端点上的语言模型, 可以使用标准SageMaker 端点模型运行器。该库还提供了设置任何模型运行器的核心框架。

第二步是指向数据集。该框架使用JSON 行格式的数据集。可以在JSON 行对象中设置自己的键, 只要与文件中的字符串相匹配即可。需要提供数据集名称和URI( 可以是本地JSON 文件或S3 路径) 。

接下来, 需要配置并运行评估作业。该库实际上会在本地运行, 作为标准Python 程序。每个评估作业都需要一个评估算法, 取决于要评估的维度。在这个例子中, 是评估事实知识。然后调用eval_go.evaluate() 函数, 传入模型运行器、配置和提示模板等参数, 并选择是否保存结果。

该库附带了一些示例笔记本电脑和数据集, 包括用于评估Bedrock 、JumpStart 、ChatGPT 和自定义Hugging Face 模型的示例。

接下来,Emily 进行了一个演示。她在新的SageMaker Studio 中打开了JupyterLab, 安装了fm eval 库。 她首先列出了自己账户中所有现有的SageMaker 端点, 然后选择了一个名为”llama-2” 的端点进行评估。

她导入了所需的库和对象, 设置了数据集配置( 使用本地JSON 行文件作为数据集) 。数据集包含一些简单的问题, 如”2012 年美国总统是谁” 、“ 生命的意义是什么” 等, 以及正确答案。

然后她设置了JumpStart 模型运行器, 传入端点名称、模型ID 和版本。还配置了提示模板, 指示模型回答问题而不是编造答案。

接下来, 她创建了事实知识配置对象, 并调用eval_algo.evaluate() 函数运行评估。该函数使用Ray 在本地并行运行任务, 调用模型并将输出与数据集中的正确答案进行比较。

最后,Emily 展示了评估的输出, 包括模型在整个数据集上的平均分数(0.59) 。输出还包括每个提示的分数(1 为正确,0 为错误) 、模型输入和输出等详细信息。

总的来说, 这个视频深入介绍了fm eval 库的工作原理、用法和集成方式, 并通过一个实际示例演示了如何使用该库评估大型语言模型。该库提供了评估各种模型和数据集的灵活性, 可以很好地与亚马逊云科技工具集成。

总结

该视频深入探讨了开源的 FM Eval Library, 这是一个用于评估大型语言模型(LLMs) 在各种自然语言处理(NLP) 任务上表现的 Python 库。该库为评估 LLMs 提供了一个灵活且可定制的框架, 允许用户引入自己的数据集、模型和评估指标。

重点内容包括:

1)       FM Eval Library 与亚马逊云科技服务( 如 SAGEMAKER 和 BEDROCK) 无缝集成, 可轻松评估托管在 SAGEMAKER 端点或 JUMPSTART 模型上的模型。

2)       该库支持标准的 NLP 评估指标, 如事实知识、分类准确度、语义稳健性和问答, 同时还提供实现自定义评估算法的能力。

3)       用户可以利用该库在本地评估 LLMs, 或将其集成到 SAGEMAKER 管道中, 实现自动化评估工作流程。

视频最后强调了该库的通用性, 并鼓励用户探索其功能, 尤其是即将推出的一项新功能, 允许通过标注任务对 LLMs 进行人工驱动的评估。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。