关键字: [SageMaker Ground Truth, Foundation Models, Human In Loop, Model Evaluation, Data Annotation, Generative Ai]

本文字数: 1900, 阅读完需: 10 分钟

导读

在这场演讲中, 演讲者探讨了Amazon SageMaker Ground Truth 如何为改进用于生成式AI 应用程序的基础模型提供人工参与能力。他们阐释了SageMaker Ground Truth 提供了工作流程和专家工作队伍, 用于收集示范数据、偏好数据, 并对模型进行评估, 以微调和定制基础模型。该演讲重点介绍了SageMaker Ground Truth 如何实现数据注释的扩展、生成高质量的训练数据, 以及提高基础模型的准确性、安全性和性能。来自Crikey AI 的客户成功案例展示了他们如何利用SageMaker Ground Truth 训练其AI 动画基础模型, 并从文本和视频输入生成高质量3D 动画。

演讲精华

以下是小编为您整理的本次演讲的精华，共1600 字，阅读时间大约是8 分钟。

在不断发展的人工智能和机器学习领域, 基础模型的出现为我们带来了新的可能性, 但同时也带来了一系列需要仔细关注的挑战。这些在大量未标记数据上训练的大规模模型, 具有跨越广泛领域理解和生成内容的卓越能力。然而, 正如Amazon SageMaker 产品经理 Romi Datta 所阐述的那样, 负责任地开发和部署这些模型需要采取全面的方法, 以确保准确性、公平性和道德考量得到维护。

Datta 阐明了传统深度学习模型的方法, 其中标记或注释数据是训练的基石。相比之下, 基于 Transformer 架构的基础模型则是在大量未标记数据上训练, 使它们能够获取上下文并响应各种主题的提示。这些模型通常规模庞大, 语言模型的参数从数十亿到数百亿不等, 在某些情况下甚至超过了万亿参数。

然而, 这些模型的出现并不意味着人工参与的必要性就被消除了。事实上,Datta 强调, 基础模型在整个生命周期中需要更全面的人机交互能力。该过程始于在大量未标记数据( 来自互联网或企业数据库) 上预训练基础模型, 这一初始步骤赋予了模型广泛的上下文理解能力, 但仅仅是进一步完善的基础。

评估是随后的关键阶段, 在这一阶段, 模型的输出不仅要在准确性方面进行审查, 还要考虑其他维度, 如毒性、幻觉( 自信但不正确的响应) 以及潜在的偏见或陈词滥调。Datta 指出, 基础模型有时会产生幻觉, 提供自信但缺乏与提示或输入问题相关上下文或相关性的答复。

该评估为后续微调过程提供了信息, 微调过程可采取多种形式。一种方式是监督式微调, 利用人工生成的示范数据( 如问答对或图像/ 视频标题) 来定制模型的功能, 以满足特定用例的需求。另一种方式是采用强化学习与人类反馈(RLHF), 人类根据毒性、准确性、有用性甚至多样性等标准对模型的响应进行排名, 正如部分客户所选择的那样。然后使用这些偏好数据进一步优化模型的输出。

在某些情况下, 会微调一个较小的辅助模型( 称为指令模型), 使用偏好排名数据对其进行微调, 然后指导主模型的微调。这个迭代定制过程将持续进行, 直至模型被认为已准备就绪, 可以部署到预期的业务应用程序中。

认识到这个过程中固有的挑战, 亚马逊云科技(Amazon Web Services) 开发了SageMaker Ground Truth, 这是一个全面的解决方案, 提供了人机协作的功能, 以提高基础模型的准确性和性能。Ground Truth 提供了一套工具和服务, 用于解决模型生命周期的各个阶段。

模型评估是一个关键组成部分,Ground Truth 支持对模型输出进行大规模的自动和人工评估。直观的界面允许进行人工评估, 个人可以根据准确性、语气和品牌语音等标准评估响应。即使对于自动评估, 也通常需要初始的人工输入来建立基准真值和正确答案。Datta 提及,Ground Truth 提供了工作流程来进行红队分析, 使用对抗性输入对模型进行压力测试, 以在部署之前识别漏洞。

数据收集是另一个至关重要的方面,Ground Truth 提供了工作流程来收集示范数据( 如问答对、图像/ 视频标题) 和用于RLHF 的偏好数据。为了促进这一过程,Ground Truth 提供了涵盖医疗、法律、教育等多个领域的专家工作队伍。这些工作队伍可以快速扩展, 根据需要生成或标注数据, 确保及时交付高质量的训练数据。Datta 指出,Ground Truth 可以扩展到数千或数万名具有不同技能的数据标注员。

达塔强调了亚马逊云科技与客户合作的几个关键领域, 利用 GROUND TRUTH 的人工智能辅助能力为客户的基础模型提供定制数据。这些领域包括为文档摘要创建示范数据、为从文档生成问答对提供直观的工作流程, 以及大规模标注图像和视频。对于后者, 达塔提到能够在几周内标注数十万个视频, 注释人员会为每个视频提供详细的说明, 描述场景、动作和上下文。

在收集偏好数据方面,GROUND TRUTH 提供了基于提示对模型响应进行排名的工作流程, 从而实现人工反馈的强化学习。达塔还指出,GROUND TRUTH 能够引入客户自己的模型进行评估, 通过自动化和人工评估流程, 提供有关模型稳健性、有害性和准确性等关键指标的见解。

在现场演示中, 亚马逊云科技业务发展主管阿曼达· 莱斯特展示了几种 GROUND TRUTH 功能, 专门针对生成式人工智能用例。文本排名功能可以通过让人类根据简洁性或清晰度等标准对提示的模型响应进行排名, 从而收集偏好数据。在演示中, 莱斯特对四个响应进行排名, 将最简洁的响应排在第一位, 最不详细的排在第四位。这些数据可用于强化学习人工反馈(RLHF) 来微调模型输出。

此外,GROUND TRUTH 还能够从文档中生成问答对, 允许用户教会模型如何在特定领域准确回答问题。在演示中, 莱斯特根据一篇关于弗雷斯诺县的文档提出了” 中央谷地最大的城市是什么?“ 这个问题, 并提供了” 弗雷斯诺” 的答案, 同时引用了文本中的相关段落。这一功能对于需要特定领域知识的行业或应用程序尤为宝贵。

莱斯特还展示了Ground Truth 的图像和视频字幕功能, 这些功能可以为视觉资产创建详细的字幕。对于一张图像, 它描述了一个身穿白色连衣裙的女子站在舞厅中央, 另外两个身穿橙色连衣裙的女子, 以及一个光滑的地板, 所有人都在往窗外看。对于一段视频, 它注意到一个男子在指导其他人如何挥杆打高尔夫球, 将高尔夫球杆拉回, 击打高尔夫球, 并跟随挥杆动作。这些字幕可作为高质量的示范数据, 对于使用生成式人工智能模型进行广告宣传活动或其他创意内容的生成至关重要。

Ground Truth 强大功能的力量还通过Crikey AI 首席技术官Ketaki Shriram 分享的一个客户成功案例得到了进一步体现。Crikey AI 是一家人工智能工具公司, 可让用户从文本或视频输入生成3D 人形动画。Shriram 强调了她的团队在手动标注训练他们的基础模型所需的大量动画数据时面临的挑战, 指出这需要时间且难以扩展。最初,Crikey AI 的团队成员每天花费数小时尝试自己标注数据, 很快意识到考虑到任务的规模, 这种方法是不切实际的。

正是在这个时候, 他们与Ground Truth 团队合作, 利用亚马逊云科技的一系列服务, 包括S3 、EKS 、RDS 、ElastiCache 、EC2 和Amplify, 来构建他们的产品。通过Ground Truth 界面,Crikey AI 能够提交他们的视频, 由Ground Truth 的专家工作人员进行标注。 每周的反馈会议确保了标注质量满足不同类型视频的不断发展的要求, 如体育和舞蹈视频, 这需要不同的标注标准。

这种合作使Crikey AI 能够快速为数十万个视频片段添加丰富的描述, 这是他们的小团队独立完成几乎不可能的壮举。因此,Crikey AI 仅用了三个月的时间就训练好了他们的文本到动画生成的基础模型, 节省了超过1,000 小时的生产力, 并节省了超过20 万美元的标注成本。

这段合作的成功使Crikey AI 能够为广泛的应用场景提供AI 驱动的3D 动画生成功能, 包括教育、医疗保健、运动学习和元宇宙。其工具允许用户在几分钟内生成高保真3D 动画, 角色能够用任何语言、口音或对话进行交谈, 为创意表达和内容创作开辟了新的途径。Shriram 展示了一个AI 生成的骷髅化身做跳操并说话的例子, 以及一个用日语说话的旅游向导化身, 这两个都是在不到两分钟的时间内使用Crikey AI 的工具创建的。

Crikey AI 的产品完全建立在亚马逊云科技服务之上, 如S3 、EKS 、RDS 、ElastiCache 、EC2 和Amplify, 使其能够为全球客户提供服务。该公司还计划在第一季度末推出企业解决方案, 允许客户使用单个Terraform 脚本在自己的亚马逊云科技环境中部署Crikey AI 的基础模型和3D 编辑器。

总之, 这段视频强调了人机协作AI/ML 服务( 如Amazon SageMaker Ground Truth) 在实现大型基础模型的负责任开发和定制化方面的关键作用。通过提供可扩展的数据标注、模型评估和微调解决方案,Ground Truth 使组织能够利用生成式AI 的力量, 同时确保准确性、公平性和道德考虑得到维护。Crikey AI 的客户成功案例证明了当这些技术与人类专业知识和监督相结合时, 所具有的变革潜力。

总结

在这场引人入胜的演讲中, 亚马逊云科技专家深入探讨了利用Amazon SageMaker Ground Truth 来增强基础模型的人工智能环路能力。他们强调了在构建、运营和利用这些模型时所面临的挑战, 并着重指出需要人工智能/ 机器学习服务来解决准确性、有害性和虚构性等问题。

演讲者们强调了人工生成数据的关键作用, 例如用于监督式微调的示范数据、用于强化学习的人工反馈偏好数据, 以及模型评估数据。他们展示了SageMaker Ground Truth 如何提供全面的工作流程和专家工作队伍, 以大规模收集、标注和评估数据, 从而使客户能够有效地定制他们的模型。

此外, 他们还介绍了一个来自Crikey AI 的客户成功案例, 这是一家利用SageMaker Ground Truth 训练其AI 动画基础模型的初创公司。Crikey AI 的技术主管Kataki 分享了他们与亚马逊云科技的合作如何使他们能够快速标注大量数据集, 从而节省时间和资源, 并使他们能够实现3D 动画创作的民主化。

演讲者最后强调, 亚马逊云科技致力于通过SageMaker Ground Truth 提供大规模高质量数据, 使客户能够在各个行业和应用场景中释放生成式AI 和基础模型的全部潜力。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。