ITPub博客

首页 > 人工智能 > 人工智能 > NVIDIA Run:ai 现已开源,作为 NVIDIA DSX AI Factory 平台的一部分 | NVIDIA 技术博客

NVIDIA Run:ai 现已开源,作为 NVIDIA DSX AI Factory 平台的一部分 | NVIDIA 技术博客

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

借助面向 AI 工作负载和 GPU(图形处理器) 编排的开放基础,加速 DSX 生态系统中的创新,并更快地将 AI 工厂解决方案推向市场。

NVIDIA 正在将完整的 NVIDIA Run:ai 平台作为开源软件提供,使客户、开发者和生态系统合作伙伴能够获得生产级 AI 工作负载和 GPU 编排能力。此次发布通过将 NVIDIA Run:ai 确立为开放基础,扩展了 NVIDIA DSX AI Factory 平台,使更广泛的生态系统能够更快地将差异化解决方案推向市场,以响应不断变化的客户需求。

在过去几年中,NVIDIA Run:ai 通过动态分配 GPU 资源并在从数据处理和训练到推理的整个生命周期中管理工作负载,帮助组织在 Kubernetes(容器编排平台) 上大规模运行 AI 工作负载。

通过将 NVIDIA Run:ai 平台能力作为 NVIDIA DSX AI Factory 的一部分开源,现在每个 NVIDIA DSX 生态系统合作伙伴和 AI 云都可以提高工作负载吞吐量、改善 GPU 利用率,并更高效、更有效地运营共享 AI 基础设施。

本文详细介绍了此次开源发布,其中包括完整的 NVIDIA Run:ai 平台以及四个也可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management、Workload Map。这些组件与额外的平台代码一起构成了集成的 NVIDIA Run:ai 平台。平台团队和生态系统合作伙伴可以将 NVIDIA Run:ai 作为一个整体采用,在其基础上构建自己的产品和服务,或根据自身需求集成单个组件。

如何采用开源 NVIDIA Run:ai

NVIDIA Run:ai 可以直接作为开源软件采用,也可以通过 NVIDIA DSX 生态系统合作伙伴的产品采用。

直接部署开源平台

NVIDIA Run:ai 的完整源代码可在 NVIDIA DSX AI Factory GitHub 组织中的 NVIDIA Run:ai 仓库中获取。团队可以检查代码、为其开发做出贡献、在平台之上构建,或独立采用其模块化组件。

完整的开源 NVIDIA Run:ai 平台也作为 Community Product 在 NVIDIA NGC 上提供,并附带用于安装集成栈的 Helm chart。

注意:NVIDIA Run:ai 源代码受其适用的开源许可证管辖。从 NGC 下载 Community Product 需要接受适用的 NVIDIA Software License Agreement 和 Product-Specific Terms for NVIDIA AI Products。Community Product 不需要付费的 NVIDIA Run:ai 订阅或 NVIDIA 支持权益,且不包含 NVIDIA 企业支持。

通过 NVIDIA DSX 生态系统合作伙伴采用开源 NVIDIA Run:ai

开源 NVIDIA Run:ai 让 NVIDIA DSX 生态系统合作伙伴能够直接获取 AI 工作负载和 GPU 编排创新,并将其用于自己的 NVIDIA DSX AI 工厂解决方案。通过采用完整平台或集成单个组件,合作伙伴可以更快地将这些创新推向市场,并更迅速地响应不断变化的客户和运营需求。

  • Crusoe 将 NVIDIA Run:ai 与 Crusoe Managed Kubernetes 集成,将 GPU 工作负载编排与托管 Kubernetes 和 GPU 基础设施相结合。
  • Mirantis 通过 NVIDIA Run:ai 扩展 k0rdent AI,提供生命周期管理的 Metal-to-Model AI 工厂栈,自动化基础设施配置并最大化 GPU 利用率。
  • Nebius 在 Nebius AI Cloud 中以一键应用部署的方式提供 NVIDIA Run:ai,为客户提供在 Nebius Managed Service for Kubernetes 上部署和运营完整平台的简化方式。
  • OpenNebula Systems 通过 OneKS 将 NVIDIA Run:ai 与 OpenNebula AI Cloud Platform 集成,将 GPU 工作负载编排与基础设施配置和生命周期管理相结合,服务于开放和主权 AI 云。
  • Rafay 正在扩展其 NVIDIA Run:ai 集成,将其作为完全托管服务提供。Rafay 自动化整个栈,从 GPU 基础设施和集群到 NVIDIA Run:ai 控制平面和租户,使 AI 云提供商和企业能够通过自己的自助服务目录提供该服务。
  • Saturn Cloud 集成 NVIDIA Run:ai,帮助 AI 云运营商通过其 Token Factory 平台启动白标 AI 推理服务,将 GPU 编排与专用和多租户模型服务、按 token 计量和自动计费相结合。
  • Spectro Cloud 将 NVIDIA Run:ai 集成到 PaletteAI 中,使客户能够通过 PaletteAI Studio 部署它,并使用与其 AI 基础设施相同的生命周期自动化进行管理。
  • vCluster 通过预验证的部署模板提供 NVIDIA Run:ai,为每个租户搭建完整环境,使运营商能够加强租户边界,同时 NVIDIA Run:ai 继续在一个 GPU 资源池上调度。

对于 NVIDIA Enterprise AI Factory 部署,NVIDIA Run:ai 继续通过 NVIDIA 支持的商业产品提供,包括作为独立产品、通过 NVIDIA Mission Control 和 NVIDIA AI Enterprise 以及精选云市场提供。可用性、许可和支持条款因产品而异。

对于已有平台并需要填补特定能力缺口的团队,以下章节描述了何时以及如何独立使用每个模块化组件。

NVIDIA Run:ai 平台的模块化开源组件

本节详细介绍开源版本中包含的四个组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 Workload Map。结合额外的平台代码,这些组件构成了集成的 NVIDIA Run:ai 平台。您可以将 NVIDIA Run:ai 作为集成整体采用,或根据您的独特需求集成单个组件。

KAI Scheduler:NVIDIA Run:ai 背后的调度引擎

KAI Scheduler 是为 NVIDIA Run:ai 平台提供支持的 Kubernetes 原生调度器。NVIDIA 以 Apache 2.0 许可证将 KAI Scheduler 作为开源软件发布,并将其作为 Sandbox 项目贡献给 CNCF。KAI 仍然是 NVIDIA Run:ai 背后的上游引擎,所有调度器开发都在社区仓库中进行,因此每项改进都通过同一代码库流转。NVIDIA 继续支持该项目的维护者,并与更广泛的生态系统合作,推进大规模 AI 工作负载调度。

KAI Scheduler 专为大规模 GPU 工作负载而构建,协调:

  • 带预调度内存模拟的 Gang 调度,使多 Pod 作业以全有或全无的方式放置,避免不必要的驱逐
  • 公平共享(包括基于时间的公平共享)和配额分配,保持团队间的资源份额平衡
  • 调度决策层面的拓扑感知和装箱
  • GPU 共享,允许多个工作负载共享单个或多个 GPU(MIG、MPS、时间共享、HAMi、CUDA 13.4 MPS 分片)
  • 动态资源分配(DRA)支持

要了解有关关键功能的更多信息,请访问 kai-scheduler/KAI-Scheduler GitHub 仓库。

对于需要公平访问集群资源和拓扑感知放置的多样化 AI 工作负载,请使用 KAI Scheduler。它可以在现有集群中与当前软件栈一起部署,而无需完整的 NVIDIA Run:ai 平台。

关注该项目,在 CNCF Slack 的 #kai-scheduler 频道提问,并在 kai-scheduler/KAI-Scheduler GitHub 仓库中贡献代码。

GPU 分片:Kubernetes 上的 GPU 分片 Operator

NVIDIA Run:ai 平台长期支持 GPU 分片分配,使多个工作负载能够共享一个 GPU,并实现硬性内存隔离。分片可按需请求并即时配置,无需管理员提前进行逐节点设置。这是 ML 团队在运行不需要 GPU 全部内存的工作负载(包括交互式 notebook 和较小模型的推理)时最广泛使用的功能之一。NVIDIA Run:ai 通过专有实现开创了这一体验。

GPU Fractioning Operator 将 CUDA 原生 GPU 分片引入 Kubernetes,专有实现已被弃用,转而采用 CUDA 13.4 中提供的原生能力。CUDA 驱动对每个工作负载的 GPU 内存强制执行硬性限制,每个工作负载只能看到分配给其分片的 GPU 内存。目前仍然需要一种在 Kubernetes 上使用该能力的简洁方式。这正是 GPU Fractioning Operator 所提供的:一个在集群上启用 CUDA GPU 分片的 Operator,以及一个用于按 Pod 查看所用分片的指标导出器。它是一个 Kubernetes 集成层,允许工作负载使用 CUDA 原生分片,并且与调度器无关。

对于可以共享未充分利用 GPU 容量的工作负载(包括 notebook、开发会话和较小模型),请使用 GPU Fractioning Operator。GPU Fractioning Operator 与 KAI Scheduler 集成,将可用的 GPU 容量转化为实际的放置决策,同时保持与其他调度器的兼容性。

GPU Fractioning Operator 将 CUDA 13.4 原生 GPU 分片引入 Kubernetes,并与 KAI Scheduler 集成。要开始使用,请参阅 GPU Fractioning Operator 文档。

KAI 资源管理:组织层

调度器决定工作如何放置,而 KAI 资源管理则管控谁获得什么:

  • 项目与部门:组织结构(即“组织层”),将资源映射到使用它们的团队和计划。
  • 具有组织层级结构的资源管理:能够在该组织结构中分配、保障和共享 GPU 容量,并具备公平共享和配额语义。
  • 节点池:对异构硬件进行分组和定向,使工作负载落在正确的资源上。

这些功能共同使平台团队能够超越原始的 Kubernetes 调度,按照组织实际运作的方式来管理 GPU:按团队、按部门、按计划以及按资源保障。

对于由多个团队共享且需要定义容量份额的异构集群,请使用 KAI 资源管理。例如,平台团队可以保障集群 50% 的容量用于研究,同时防止任何单个团队垄断剩余容量。如果你已经在电子表格中跟踪配额权益,或按团队手动维护命名空间,那么这一层就是替代方案。它可以与集群中的 KAI Scheduler 结合使用。

在 KAI 资源管理文档中了解更多关于这些概念如何映射到实际部署的信息。

工作负载映射:Kubernetes 的工作负载管理契约

Workload Map 是 NVIDIA Run:ai 用来支持任意工作负载类型的契约。KAI Scheduler 使用它进行调度和 gang 语义处理;平台的其他部分则使用它进行工作负载发现、监控和生命周期管理。

在 Kubernetes 中,AI 工作负载几乎从来不是裸的 Deployment 或 Job。它可能是 PyTorchJob、RayCluster、JobSet、KServe InferenceService、Dynamo 图部署,或公司自有的自定义资源。每种类型都有自己的内部结构、具有不同角色的组件(driver 和 workers、head 和 workers、prefill 和 decode)、自己的扩缩容和 gang 语义,以及自己的状态报告方式。

Workload Map 提供了一种一致的方式,在整个生命周期中将这些工作负载视为一等对象:

  • 描述 Pod、组件和角色
  • 提交和配置
  • 具备 gang 和拓扑感知的调度
  • 一致地观测状态和健康度
  • 在准入或运行时应用策略

该工作负载管理层位于 Kubernetes 原语与调度器、仪表盘、SRE 和故障排查工具、成本工具、备份工具以及服务用户的 ML 平台之间。Workload Map 为每种工作负载类型定义一次,使任何平台或工具都能一致地调度、观测、操作和治理它,而无需为每个 CRD 硬编码私有且不完整的集成。

对于必须理解和管理多种 Kubernetes 工作负载类型而无需为每个 CRD 硬编码的平台和工具,请使用 Workload Map。它以 Go 库的形式发布,可离线处理非结构化对象,因此你无需向集群添加任何内容即可采用。它的范围刻意保持狭窄:Workload Map 描述工作负载结构,不负责调度、排队、自动扩缩容或跨集群传播。

在 dsx-ai-factory/workload-map GitHub 仓库中了解更多信息,并查看采用者项目。

以下开源项目解决互补的 AI 基础设施挑战。它们可以独立采用,也可以纳入包含完整 NVIDIA Run:ai 平台或选定组件的更广泛解决方案中。

Model Streamer:降低冷启动延迟

在 Kubernetes 上冷启动推理工作负载可能需要数分钟,在此期间 GPU 虽已分配,却在单个步骤上空闲:将模型权重从存储加载到 GPU。Model Streamer 并发读取权重并直接流式传输到 GPU 内存,从而缩短大模型的加载时间。

自发布以来,Model Streamer 已被推理栈广泛采用,包括推理引擎、云提供商和存储平台供应商。

推理引擎

Model Streamer 已上游集成到 vLLM 和 SGLang 中,可通过 --load-format runai_streamer 标志启用,同时也集成在 ModelExpress 中。支持范围涵盖本地文件系统、S3 兼容存储和网络文件共享,以及下文详述的多种云后端。

云平台

各大云服务提供商现已在其官方指南中记录 Model Streamer。

  • AWS:Model Streamer 随 vLLM Deep Learning Container 一同发布,是官方 EKS 文档中运行 AI/ML 推理推荐的快速路径,并针对 S3 调优了并发度和分块大小。
  • Google Cloud:与 NVIDIA 合作构建的原生 Cloud Storage 支持,包括 GKE 文档,可直接从存储桶流式传输到加速器内存。
  • Microsoft Azure:Azure Blob Storage 集成,由 Microsoft 和 NVIDIA Run:ai 联合开发,为 Azure 客户提供一流的模型流式传输能力。在八台 NVIDIA H100 VM 上发布的基准测试显示,加载速度比默认加载器快 3 倍至 6 倍,稳定达到 80 Gbps,而默认路径约为 40 Gbps。

存储平台

多家 AI 数据基础设施合作伙伴已独立对 Model Streamer 进行基准测试并发布了结果:

  • WEKA 仅用 3.5 秒即加载到 GPU 内存,比从本地 NVMe 加载快约 40%——使组织能够构建 PB 级共享模型仓库,加速模型就绪,而无需在推理环境中维护重复模型副本所需的时间、精力和容量。
  • VAST Data 测得 1.7 秒,比从本地 NVMe 加载提升 60%
  • DDN 在 8 块 GPU 上以不到四秒的时间流式传输了 65.5 GB 的 Qwen3-32B,并将其转化为成本:与使用本地存储相比,每天最多可节省 10% 的 GPU 运行时间。

当启动新副本和加载模型权重是主要瓶颈时,请使用 Model Streamer。

Grove:一个 API,适配任意推理架构

新兴的工作负载模式——包括智能体流水线、分离式服务和混合专家训练——由多个相互连接的组件构成,这些组件必须协同扩展。Grove 提供 Kubernetes API 来编排这些工作负载,从单个 Pod 到跨越数万块 GPU 的部署。

Grove 提供拓扑感知自动扩缩和分层 gang 调度,允许预填充和解码等组件以全有或全无的单元启动。在 NVIDIA GB200 NVL72 上,它还能自动管理 ComputeDomain 资源,通过单个注解而非手写 YAML 即可实现多节点 NVLink 性能。

Grove 是 NVIDIA Dynamo 的模块化组件,可独立使用,并且已在多家公司的大规模训练和推理流水线中发挥作用。近期工作包括支持 llm-d 和 Volcano 作为调度器后端,对 Kueue 的支持正在进行中。

对于具有不同角色和耦合扩缩容需求的图工作负载,请使用 Grove。

开始使用开源 NVIDIA Run:ai

NVIDIA Run:ai 现已作为开源软件在 NVIDIA DSX AI Factory GitHub 组织中提供。如需了解更多信息并开始使用,请查看以下资源:

  • NVIDIA Run:ai 完整平台
  • KAI Scheduler 调度引擎
  • KAI Resource Management,用于项目、部门、配额和节点池
  • GPU Fractioning Operator,用于在 Kubernetes 上实现 CUDA GPU 分片,并提供每个 Pod 的指标
  • Workload Map 工作负载管理契约

相关的开源项目包括:

  • Model Streamer,用于快速加载模型权重
  • Grove,用于多组件推理编排

我们很高兴将这项工作带给社区,并以开放方式构建下一代 AI 工作负载和 GPU 编排。欢迎您的贡献、问题和反馈。


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:NVIDIA Technical Blog

原创地址:https://developer.nvidia.com/blog/nvidia-runai-is-now-open-source-as-part-of-nvidia-dsx-ai-factory-platform/

原文作者:Tanya Lenz;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1307
  • 访问量
    574384