关键字: [SageMaker HyperPod, Foundation Model Training, Distributed Training Performance, Resilient Training Environment, Model Design Iteration, Hardware Failure Recovery]

本文字数: 400, 阅读完需: 2 分钟

导读

在这场演讲中, 演讲者介绍了 SageMaker HyperPod, 这是亚马逊云科技推出的一项新服务, 旨在训练大规模基础模型。HyperPod 提供了一个可靠的训练环境, 能够自动从硬件故障中恢复, 并从最后一个检查点继续训练, 从而减少高达20% 的训练时间。它还配备了针对亚马逊云科技网络基础设施优化的分布式训练库, 进一步缩短了训练时间。此外,HyperPod 允许研究人员自定义训练环境, 安装框架、调试工具和软件库, 从而实现快速迭代模型设计。该演讲重点介绍了 Stability AI 、Perplexity AI 和 Hugging Face 等客户的成功案例, 他们从 HyperPod 的可靠性、性能和灵活性中获益。

演讲精华

以下是小编为您整理的本次演讲的精华，共100 字，阅读时间大约是0 分钟。

在当今的人工智能领域, 大规模基础模型训练已成为一个前所未有的计算挑战。随着Transformer 模型架构的兴起, 训练这些庞大的语言模型和生成模型对计算能力的需求也与日俱增。为了满足这一需求, 亚马逊云科技(AWS) 推出了一款名为SageMaker HyperPod 的新产品, 旨在为客户提供一个高度可靠、高性能且灵活的托管环境, 专门用于训练大型基础模型。

SageMaker HyperPod 的核心优势在于三个方面: 首先, 它提供了一个弹性的训练环境。HyperPod 所提供的集群具有自我修复能力, 如果发生硬件故障, 它能自动从最近的检查点恢复训练, 无需人工干预。根据测试, 这一功能可以将训练时间缩短20% 。其次,HyperPod 集成了针对亚马逊云科技网络基础设施优化的SageMaker 分布式训练库, 可进一步缩短20% 的训练时间。最后,HyperPod 为用户提供了灵活的体验, 允许他们SSH 访问任何集群实例, 安装所需的框架、调试工具和软件库, 支持快速迭代模型设计。

在使用HyperPod 时, 用户首先需要创建VPC 网络和存储资源, 如Amazon FSx for Lustre 等并行文件系统。接下来, 他们需要定义生命周期脚本, 用于自定义集群环境, 例如创建用户、安装应用程序或进行系统设置等。然后通过一个配置文件指定头节点和计算节点的规格, 以及生命周期脚本的位置。最后, 只需使用一条命令即可创建集群。在集群创建后,HyperPod 会自动执行生命周期脚本, 为用户准备好定制化的训练环境。

用户可以通过多种方式与HyperPod 交互, 包括提交批处理作业、申请专用节点资源进行交互式开发, 或使用与流行框架( 如PyTorch Lightning 、Nvidia Nemo 等) 集成的作业提交方式。无论采用何种方式,HyperPod 都提供了高度的灵活性, 允许用户自定义各个层面的设置, 以满足特定的训练需求。

HyperPod 的一大亮点是自动修复功能。它通过部署代理来检测硬件故障, 一旦发现故障, 就会自动替换故障节点并从最近的检查点恢复训练, 极大缩短了中断时间。用户只需在作业提交时启用自动恢复功能即可, 无需手动干预。这一功能解决了分布式训练中的一个长期痛点: 由于训练过程是串行的, 任何一个工作节点发生故障都会导致整个作业崩溃, 从而浪费大量计算资源。有些客户曾因硬件故障而被迫停止训练数天, 这无疑会严重影响他们的开发进度。

除了自动修复功能外,HyperPod 还提供了多种性能优化措施。首先, 它采用了经过优化的亚马逊云科技网络拓扑, 包括Amazon EC2 计算实例、Amazon EFA 互连网络和Amazon FSx for Lustre 并行文件系统等, 以确保跨节点通信的高效性。 其次,HyperPod 集成了亚马逊云科技自主开发的SageMaker 优化分布式训练库, 如SMT 和SMDpP, 这些库经过高度优化, 可以充分利用亚马逊云科技网络基础设施的性能。最后,HyperPod 还提供了全面的监控功能, 用户可以使用Amazon CloudWatch 、Prometheus 等工具监控GPU 利用率、内存使用情况等指标, 并结合Tensorboard 、DCGM 等工具进行深入的性能分析和调试。

目前, 一些领先的开源AI 公司已在私有预览版中使用HyperPod, 获得了显著的性能提升和开发效率提高。其中,Stability AI 是一家领先的开源生成AI 公司, 它曾经频繁遭遇硬件故障, 导致研究人员浪费数百个小时的时间等待集群修复。通过使用HyperPod,Stability AI 节省了50% 的训练时间和成本。另一家公司Perplexity AI 是提供对话式问答引擎的公司之一, 它使用HyperPod 后, 实验吞吐量提高了两倍。

以Hugging Face 为例, 这家公司的使命是让每个人都能够训练自己的模型。它不仅提供了一个浏览和使用开源模型的平台, 还积极参与模型训练, 如StarCoder 代码生成模型和IDFX 视觉语言模型等。为了支持这些大规模模型的训练,Hugging Face 需要一个拥有1800 多个GPU 的集群。在亚马逊云科技的支持下, 它成为了HyperPod 的早期使用者之一。

在HyperPod 上,Hugging Face 的60 多名数据科学家可以并发使用同一个集群进行不同的工作负载, 包括每日评估开放语言模型的性能、训练新模型等。由于HyperPod 支持作业队列和优先级管理, 它们能够实现100% 的GPU 利用率, 没有任何资源闲置。同时,HyperPod 的自动修复功能为它们节省了大量的时间和计算成本。更重要的是,Hugging Face 的研究人员可以在HyperPod 上自由定制环境, 安装所需的工具和库, 以支持快速迭代和创新。

以StarCoder 模型为例,Hugging Face 在HyperPod 上使用了一个分区, 占用了部分集群资源。它使用3D 并行的Megatron LM 架构, 在24 天内训练了1 万亿个token 。在训练过程中, 它能够稳定地在每个GPU 上达到400 多TeraFlops 的性能, 并通过Prometheus 和节点导出器监控GPU 利用率和二氧化碳排放量。当需要保存检查点时, 它先将模型权重保存到本地NVMe 磁盘, 然后再异步传输到Amazon S3 。整个过程中,HyperPod 的自动修复功能可以在发生故障时自动暂停和恢复训练, 而无需人工干预。

总的来说,SageMaker HyperPod 为大规模基础模型训练提供了一个高度可靠、高性能且灵活的托管环境, 让AI 研究人员能够专注于模型创新, 而不必操心基础设施管理的复杂性。无论是自动修复、性能优化, 还是定制化支持,HyperPod 都为客户带来了前所未有的便利。随着越来越多的客户加入, 我们有理由相信,HyperPod 将为推动人工智能的发展做出重大贡献。

总结

该演示介绍了Amazon SageMaker HyperPod, 这是一项新的亚马逊云科技服务, 旨在解决训练大规模基础模型所面临的独特挑战。它强调了开发这些模型所涉及的计算需求和复杂性, 例如数据处理、分布式训练、模型迭代和硬件故障。SageMaker HyperPod 旨在提供一个可靠的训练环境、优化的分布式训练性能以及灵活的用户体验, 以实现快速的模型设计迭代。

主要优势包括自我修复集群, 可自动从硬件故障中恢复, 减少高达20% 的训练时间。它还提供针对亚马逊云科技网络基础设施优化的分布式训练库, 进一步缩短训练时间。此外,HyperPod 允许用户定制训练环境、安装框架、调试工具和软件库, 实现无基础设施约束的无缝创新。

该演示展示了Stability AI 、Perplexity AI 和Hugging Face 等客户的成功案例, 他们利用了HyperPod 的可靠性、性能和定制能力。它还提供了HyperPod 架构、集群创建、通过生命周期脚本进行定制、性能优化和可观察性工具的技术概览。

总的来说,SageMaker HyperPod 旨在通过提供一个托管的、可靠的、高性能的训练环境, 让研究人员和组织能够专注于大规模基础模型的创新。

亚马逊云科技（Amazon Web Services ）是全球云计算的开创者和引领者。提供200 多类广泛而深入的云服务，服务全球245 个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI 的首选，通过生成式AI 技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI 应用的大模型等工具、以及开箱即用的生成式AI 应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。