关键字: [SageMaker JumpStart, Large Language Models, Generative Ai Models, Open Source Models, Model Deployment, Model Fine-Tuning]

本文字数: 600, 阅读完需: 3 分钟

导读

在本次亚马逊云科技会议上, 演讲者们展示了” 利用 SAGEMAKER JUMPSTART 加速通用人工智能应用” 。他们阐释了 SAGEMAKER JUMPSTART 如何简化通用人工智能模型的采用; 具体而言, 它提供了对流行的开源和专有模型的便捷访问, 允许模型比较和微调, 并支持大规模安全部署。该演示重点介绍了 SAGEMAKER JUMPSTART 如何实现轻松的模型发现和部署、经济高效的扩展, 以及通过网络隔离和数据保护实现安全推理。

演讲精华

以下是小编为您整理的本次演讲的精华，共300 字，阅读时间大约是2 分钟。

在亚马逊云科技会议上,Carl Albertson 、Jeff Boudier 和Mark Carp 共同探讨了生成式人工智能(GenAI) 模型的采用挑战, 以及亚马逊云科技通过SageMaker JumpStart 如何简化这一过程。

GenAI 模型空间正在快速扩展和发展, 出现了大量新模型、量化变体、特定领域和语言模型。 模型选择范围广阔, 且会持续增长, 为客户带来了选择挑战, 需要在准确性、性能和成本之间寻求平衡。同时, 安全性和合规性也是重点关注领域, 需要遵守GDPR 、PCI 、HIPAA 等法规, 并对数据、提示和推理保持控制。此外, 从概念到大规模生产时, 成本考虑也是一个关键因素。

为解决这些挑战, 亚马逊云科技推出了Amazon Bedrock 和Amazon SageMaker 。如果客户重点在生成式AI 模型之上构建应用程序,Bedrock 就是合适的选择。但如果客户重点在模型本身, 包括微调、推进开源模型或专有模型的极限, 或从头开始训练, 那么SageMaker 就更加适合。

在SageMaker 中,SageMaker JumpStart 旨在与Hugging Face 紧密合作, 为客户提供开箱即用的GenAI 模型。当前JumpStart 上提供了许多相关模型, 包括LLaMA 2 系列模型(7 billion 、13 billion 和40 billion 参数) 、Falcon Mistral 模型, 以及来自Anthropic 等专有模型提供商的模型。

亚马逊云科技致力于确保客户对数据、提示和推理拥有完全控制。对于开源模型, 客户将在自己的账户中部署模型, 拥有对模型权重、提示和推理的完全可见性和控制权。对于专有模型, 也将部署在客户自己的账户中, 不会将提示或推理发送给模型提供商。

为满足企业级客户需求,SageMaker 和JumpStart 还支持在VPC 和网络隔离环境中部署模型。亚马逊云科技将模型打包到基础设施中, 因此客户可一键部署到隔离的VPC 环境中。

Carl 分享了一个客户案例, 说明了开源模型在生产中的应用。一家大型企业客户希望将GenAI 和大型语言模型引入客户体验用例, 用于分析客户服务呼叫记录。最初使用强大的闭源模型进行摘要, 效果令人满意, 但成本难以承受。于是, 亚马逊云科技建议客户尝试较小的开源模型, 如FLAN 或FLAN-T5 模型。虽然这些模型当时看起来有些陈旧, 但对于客户的用例来说已经足够。令人兴奋的是, 与闭源模型相比, 工作负载的成本下降了95% 到97% 。客户因此能够将开源模型投入生产, 实现了商业化应用。

这个案例凸显了开源模型生态系统的重要性, 以及在准确性、成本和吞吐量之间寻求平衡的需求。Carl 认为,2024 年, 这种需求将成为许多客户的关键主题。

接下来,Jeff Boudier 介绍了Hugging Face 与亚马逊云科技的合作。Hugging Face 的使命是民主化优秀的机器学习, 使AI 对更多人可及、易于理解和使用, 并且经济高效。目前,Hugging Face 托管了超过100 万个AI 存储库, 包括模型、数据集和应用程序, 涵盖自然语言处理、计算机视觉、语音等各种机器学习任务。

Jeff 认为, 过去五年中, 转移学习是 有革命性的创新。它允许客户利用他人训练的大型模型, 然后通过相对较少的数据进行高效微调, 而无需从头开始训练。Hugging Face 模型库中的所有模型都可在新的Apache 2.0 许可下自由使用和修改。

为了简化从模型发现到大规模部署的整个工作流程,Hugging Face 与亚马逊云科技紧密合作。在Hugging Face 模型页面上, 客户可以找到” 部署到SageMaker” 的选项, 并获取一个现成的代码片段, 利用SageMaker SDK 轻松部署模型。除了部署, 客户还可以使用JumpStart 进行其他操作, 如微调模型。

接下来,Mark Carp 详细介绍了如何在SageMaker 中分析、评估、测试、微调和部署这些模型。他建议客户首先从提示工程开始, 操纵提示以评估不同模型在特定用例下的表现。如果提示工程无法解决问题, 客户可以尝试检索增强生成(RAG), 将外部知识库与模型结合。

如果提示工程和RAG 仍然无法满足需求, 客户就需要对模型进行微调。微调可能会使客户能够使用更小的模型来完成特定任务, 从而降低生产成本。例如, 托管7 billion 参数模型所需的GPU 内存少于托管70 billion 参数模型。

Mark 展示了如何使用SageMaker SDK 来部署预训练模型、实现RAG 系统以及微调模型, 只需几行代码即可完成。他还介绍了如何使用开源基准测试和示例输出对比, 对模型进行定量和定性评估。Mark 给出了一个示例, 询问模型关于亚马逊10-K 文件的第7 项内容。在微调之前, 模型的回答不太准确, 但在微调后, 模型能够正确回答10-K 文件是一份包含业务运营和状况的报告。

对于准备好投入生产的模型,SageMaker 提供了实时推理端点。这些端点可通过API 网关、Boto3 、SageMaker SDK 或直接POST 请求与应用程序集成。它们支持自动扩展, 可根据流量需求动态调整实例数量, 并且不会中断流量。Mark 展示了如何在控制台中设置自动扩展, 只需设置最小和最大实例数以及目标指标( 如每个实例的调用数) 即可。

在安全性方面,SageMaker 端点默认提供基础设施和网络隔离级别的预防控制措施。客户可以将端点部署到虚拟私有云(VPC) 中, 控制对模型容器的访问。端点还支持亚马逊云科技 PrivateLink, 因此推理请求甚至无需离开客户的 VPC 。对于开源模型, 客户可以启用网络隔离以锁定容器, 防止容器发出网络调用。而对于专有模型, 网络隔离是默认启用的, 容器无法发出任何网络请求。

Mark 最后总结说, 客户可以通过 JumpStart 文档和示例仓库开始使用 SageMaker JumpStart, 并查看产品详情页面以获取最新 JumpStart 产品。

总之, 亚马逊云科技通过 SageMaker JumpStart 为客户提供了开箱即用的 GenAI 模型, 并与 Hugging Face 合作, 提供更多开源模型选择。 客户可以轻松发现、部署、微调、评估和优化模型, 并将其应用于生产环境, 同时确保数据安全和合规性。SageMaker 的企业级功能和工具为 GenAI 的大规模采用提供了有力支持。

总结

1)       SageMaker JumpStart 提供了一系列精心策划的流行开源和专有GenAI 模型, 让用户能够轻松发现、部署、微调和优化这些模型, 以满足他们特定的使用案例需求。

2)       与Hugging Face 的合作伙伴关系实现了其庞大的开源模型库与SageMaker 的无缝集成, 使用户更容易利用该领域的进展。

3)       SageMaker 提供了强大的安全性和合规性功能, 确保用户对其数据、提示和推理过程保持控制权, 解决了企业采用时的关键问题。

4)       该演示展示了用户如何利用SageMaker 的SDK 和工具来分析、评估、微调和大规模部署GenAI 模型, 优化准确性、性能和成本效益。

总的来说, 亚马逊云科技(AWS) 旨在通过提供一个简化且安全的平台, 使企业能够利用这些前沿模型的强大功能, 从而实现GenAI 的民主化, 解决模型选择、定制和可扩展部署的挑战。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。