关键字: [Ray, Generative Ai Models, Kubernetes Infrastructure, Fine-Tuning Ai Models, Serving Ai Models, Elastic Kubernetes Service]

本文字数: 400, 阅读完需: 2 分钟

导读

在这场演讲中,Sai Venom 探讨了如何在Amazon EKS(Elastic Kubernetes Service) 上部署和服务生成式AI 模型, 例如Stable Diffusion 。他阐释了Kubernetes 提供了可扩展性、高可用性, 并利用了开源生态系统来部署AI/ML 工作负载。Sai 演示了SHARK 堆栈(JupyterHub 、ArgoCD 、Ray 和Kubernetes), 用于在EKS 上微调和服务AI 模型。他展示了Ray 如何根据负载自动扩展模型部署, 以及Kubernetes 工具如Carpenter 如何简化节点管理。 该演讲重点阐述了Amazon EKS 如何实现生成式AI 模型( 如Stable Diffusion) 的高效部署、灵活扩展和稳定服务。

演讲精华

在这段视频内容中, 两位亚马逊网络服务(AWS) 员工探讨了如何在亚马逊弹性Kubernetes 服务(Amazon EKS) 上部署生成式人工智能(AI) 模型, 以进行推理。视频由亚马逊云科技解决方案架构师Sai Venom 和A.M. Grivelly 主持。Sai Venom 指出, 在过去10 年中, 生成式AI 模型的发展使得快速微调和服务这些模型成为可能。客户正在利用亚马逊云科技的Elastic Kubernetes Service (Amazon EKS) 来构建基础模型, 然后对其进行微调并提供推理API 。

与DevOps 世界中将代码投入生产的自动化过程类似, 人们也需要为AI/ML 模型建立从训练到生产的流程, 而Kubernetes 提供了一个统一的环境来实现这一点。Kubernetes 的可扩展性和可用性是其主要优势之一, 它可以根据需求动态扩展和缩减计算资源。Sai 提到,Kubernetes 的开源生态系统对于处理基础模型的特殊需求非常有用, 例如在特定硬件架构上编译和运行的要求。

Sai 介绍了一个名为SHARK 的技术栈, 它被越来越多的客户用于AI/ML 工作负载。SHARK 代表JupyterHub (J) 、ArgoCD (A) 、Ray (R) 和Kubernetes (K) 。JupyterHub 用于开发笔记本,ArgoCD 提供CI/CD 功能,Ray 是一个开源框架, 用于构建、训练和推理AI/ML 模型, 而Kubernetes 则是底层的容器编排平台。Ray 使得在Kubernetes 上部署模型变得非常简单, 只需选择一个模型ID, 它就会自动处理扩展和提供推理API 。

在演示部分,Sai 展示了如何在亚马逊云科技控制台中设置EKS 集群。他使用开源工具Carpenter 自动选择合适的EC2 实例类型来部署模型, 而不需要手动指定确切的实例类型。在这个示例中,Sai 部署了一个大型的Inferentia 实例和一个中型实例, 用于运行稳定扩散模型。Carpenter 根据Ray 的请求动态调配所需的节点, 并提供每月/ 每小时的估计成本, 以实现成本效率。客户可以使用Carpenter 来管理节点, 只需指定所需的实例类型和架构, 而不必记住具体的实例规格。

Sai 还使用了EKS Node Viewer 和Canines 等工具来可视化集群中正在运行的资源, 包括Carpenter 、Grafana 、NGINX 控制器和Ray 。在稳定扩散命名空间中, 他展示了正在运行的头节点和工作节点。Ray 的仪表板清晰地显示了正在运行的模型及其状态。

最后,Sai 使用Gradio 构建了一个用户界面, 允许观众输入提示, 并基于Hugging Face 上的稳定扩散模型生成相应的图像。他使用了模型ID “runwayml/stable-diffusion-v1-5” 来部署该模型。当多个请求同时到来时,Ray 会自动扩展模型的副本数量以满足需求。 虽然最终生成的图像与期望的不太相符, 但这个演示充分展示了Kubernetes 在处理AI/ML 工作负载方面的灵活性和可扩展性。

Sai 还介绍了亚马逊云科技的”Data on EKS” 资源, 它提供了在EKS 上部署各种AI/ML 用例的指南, 包括在GPU 或Inferentia 实例上进行推理。他建议观众访问该资源以及观看”Containers from the Couch” 节目, 以了解更多关于在Kubernetes 上运行AI/ML 工作负载的信息。

总结

在这场生动有趣的演讲中, 亚马逊云科技的首席解决方案架构师 Sai Venom 深入探讨了 Kubernetes 与生成式人工智能模型的交汇点。他介绍了 SHARK 技术栈, 这是一种创新方法, 将 JupyterHub 、ArgoCD 、Ray 和 Kubernetes 结合在一起, 用于在 Amazon EKS 上无缝部署和管理 AI/ML 工作负载。

Sai 强调在 Kubernetes 上运行生成式人工智能模型的可扩展性和高可用性优势, 利用 EC2 实例的强大性能和诸如 Carpenter 之类的工具进行高效的节点管理。通过现场演示, 他展示了在 EKS 上部署稳定扩散模型的过程, 演示了 Ray 如何根据需求自动扩展资源, 并提供直观的 API 进行推理。

演讲的亮点是一场引人入胜的互动环节,Sai 根据观众提示生成了富有想象力的图像, 展示了部署模型的能力。他还强调了 EKS NodeViewer 和 Canines 等开源工具在可视化和导航 Kubernetes 集群方面的重要性。

最后,Sai 鼓励观众探索”Data on EKS” 资源和他的”Containers from the Couch”YouTube 频道, 开启在 Amazon EKS 上使用 AI/ML 工作负载的旅程, 释放 Kubernetes 在生成式人工智能应用程序中的强大潜力。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 -- 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。