借助面向 AI 工作负载和 GPU(图形处理器) 编排的开放基础,加速 DSX 生态系统中的创新,并更快地将 AI 工厂解决方案推向市场。

NVIDIA 正在将完整的 NVIDIA Run:ai 平台作为开源软件提供,使客户、开发者和生态系统合作伙伴能够获得生产级 AI 工作负载和 GPU 编排能力。此次发布通过将 NVIDIA Run:ai 确立为开放基础,扩展了 NVIDIA DSX AI Factory 平台,使更广泛的生态系统能够更快地将差异化解决方案推向市场,以响应不断变化的客户需求。
在过去几年中,NVIDIA Run:ai 通过动态分配 GPU 资源并在从数据处理和训练到推理的整个生命周期中管理工作负载,帮助组织在 Kubernetes(容器编排平台) 上大规模运行 AI 工作负载。
通过将 NVIDIA Run:ai 平台能力作为 NVIDIA DSX AI Factory 的一部分开源,现在每个 NVIDIA DSX 生态系统合作伙伴和 AI 云都可以提高工作负载吞吐量、改善 GPU 利用率,并更高效、更有效地运营共享 AI 基础设施。
本文详细介绍了此次开源发布,其中包括完整的 NVIDIA Run:ai 平台以及四个也可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management、Workload Map。这些组件与额外的平台代码一起构成了集成的 NVIDIA Run:ai 平台。平台团队和生态系统合作伙伴可以将 NVIDIA Run:ai 作为一个整体采用,在其基础上构建自己的产品和服务,或根据自身需求集成单个组件。
NVIDIA Run:ai 可以直接作为开源软件采用,也可以通过 NVIDIA DSX 生态系统合作伙伴的产品采用。
NVIDIA Run:ai 的完整源代码可在 NVIDIA DSX AI Factory GitHub 组织中的 NVIDIA Run:ai 仓库中获取。团队可以检查代码、为其开发做出贡献、在平台之上构建,或独立采用其模块化组件。
完整的开源 NVIDIA Run:ai 平台也作为 Community Product 在 NVIDIA NGC 上提供,并附带用于安装集成栈的 Helm chart。
注意:NVIDIA Run:ai 源代码受其适用的开源许可证管辖。从 NGC 下载 Community Product 需要接受适用的 NVIDIA Software License Agreement 和 Product-Specific Terms for NVIDIA AI Products。Community Product 不需要付费的 NVIDIA Run:ai 订阅或 NVIDIA 支持权益,且不包含 NVIDIA 企业支持。
开源 NVIDIA Run:ai 让 NVIDIA DSX 生态系统合作伙伴能够直接获取 AI 工作负载和 GPU 编排创新,并将其用于自己的 NVIDIA DSX AI 工厂解决方案。通过采用完整平台或集成单个组件,合作伙伴可以更快地将这些创新推向市场,并更迅速地响应不断变化的客户和运营需求。
对于 NVIDIA Enterprise AI Factory 部署,NVIDIA Run:ai 继续通过 NVIDIA 支持的商业产品提供,包括作为独立产品、通过 NVIDIA Mission Control 和 NVIDIA AI Enterprise 以及精选云市场提供。可用性、许可和支持条款因产品而异。
对于已有平台并需要填补特定能力缺口的团队,以下章节描述了何时以及如何独立使用每个模块化组件。
本节详细介绍开源版本中包含的四个组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 Workload Map。结合额外的平台代码,这些组件构成了集成的 NVIDIA Run:ai 平台。您可以将 NVIDIA Run:ai 作为集成整体采用,或根据您的独特需求集成单个组件。
KAI Scheduler 是为 NVIDIA Run:ai 平台提供支持的 Kubernetes 原生调度器。NVIDIA 以 Apache 2.0 许可证将 KAI Scheduler 作为开源软件发布,并将其作为 Sandbox 项目贡献给 CNCF。KAI 仍然是 NVIDIA Run:ai 背后的上游引擎,所有调度器开发都在社区仓库中进行,因此每项改进都通过同一代码库流转。NVIDIA 继续支持该项目的维护者,并与更广泛的生态系统合作,推进大规模 AI 工作负载调度。
KAI Scheduler 专为大规模 GPU 工作负载而构建,协调:
要了解有关关键功能的更多信息,请访问 kai-scheduler/KAI-Scheduler GitHub 仓库。
对于需要公平访问集群资源和拓扑感知放置的多样化 AI 工作负载,请使用 KAI Scheduler。它可以在现有集群中与当前软件栈一起部署,而无需完整的 NVIDIA Run:ai 平台。
关注该项目,在 CNCF Slack 的 #kai-scheduler 频道提问,并在 kai-scheduler/KAI-Scheduler GitHub 仓库中贡献代码。
NVIDIA Run:ai 平台长期支持 GPU 分片分配,使多个工作负载能够共享一个 GPU,并实现硬性内存隔离。分片可按需请求并即时配置,无需管理员提前进行逐节点设置。这是 ML 团队在运行不需要 GPU 全部内存的工作负载(包括交互式 notebook 和较小模型的推理)时最广泛使用的功能之一。NVIDIA Run:ai 通过专有实现开创了这一体验。
GPU Fractioning Operator 将 CUDA 原生 GPU 分片引入 Kubernetes,专有实现已被弃用,转而采用 CUDA 13.4 中提供的原生能力。CUDA 驱动对每个工作负载的 GPU 内存强制执行硬性限制,每个工作负载只能看到分配给其分片的 GPU 内存。目前仍然需要一种在 Kubernetes 上使用该能力的简洁方式。这正是 GPU Fractioning Operator 所提供的:一个在集群上启用 CUDA GPU 分片的 Operator,以及一个用于按 Pod 查看所用分片的指标导出器。它是一个 Kubernetes 集成层,允许工作负载使用 CUDA 原生分片,并且与调度器无关。
对于可以共享未充分利用 GPU 容量的工作负载(包括 notebook、开发会话和较小模型),请使用 GPU Fractioning Operator。GPU Fractioning Operator 与 KAI Scheduler 集成,将可用的 GPU 容量转化为实际的放置决策,同时保持与其他调度器的兼容性。
GPU Fractioning Operator 将 CUDA 13.4 原生 GPU 分片引入 Kubernetes,并与 KAI Scheduler 集成。要开始使用,请参阅 GPU Fractioning Operator 文档。
调度器决定工作如何放置,而 KAI 资源管理则管控谁获得什么:
这些功能共同使平台团队能够超越原始的 Kubernetes 调度,按照组织实际运作的方式来管理 GPU:按团队、按部门、按计划以及按资源保障。
对于由多个团队共享且需要定义容量份额的异构集群,请使用 KAI 资源管理。例如,平台团队可以保障集群 50% 的容量用于研究,同时防止任何单个团队垄断剩余容量。如果你已经在电子表格中跟踪配额权益,或按团队手动维护命名空间,那么这一层就是替代方案。它可以与集群中的 KAI Scheduler 结合使用。
在 KAI 资源管理文档中了解更多关于这些概念如何映射到实际部署的信息。
Workload Map 是 NVIDIA Run:ai 用来支持任意工作负载类型的契约。KAI Scheduler 使用它进行调度和 gang 语义处理;平台的其他部分则使用它进行工作负载发现、监控和生命周期管理。
在 Kubernetes 中,AI 工作负载几乎从来不是裸的 Deployment 或 Job。它可能是 PyTorchJob、RayCluster、JobSet、KServe InferenceService、Dynamo 图部署,或公司自有的自定义资源。每种类型都有自己的内部结构、具有不同角色的组件(driver 和 workers、head 和 workers、prefill 和 decode)、自己的扩缩容和 gang 语义,以及自己的状态报告方式。
Workload Map 提供了一种一致的方式,在整个生命周期中将这些工作负载视为一等对象:
该工作负载管理层位于 Kubernetes 原语与调度器、仪表盘、SRE 和故障排查工具、成本工具、备份工具以及服务用户的 ML 平台之间。Workload Map 为每种工作负载类型定义一次,使任何平台或工具都能一致地调度、观测、操作和治理它,而无需为每个 CRD 硬编码私有且不完整的集成。
对于必须理解和管理多种 Kubernetes 工作负载类型而无需为每个 CRD 硬编码的平台和工具,请使用 Workload Map。它以 Go 库的形式发布,可离线处理非结构化对象,因此你无需向集群添加任何内容即可采用。它的范围刻意保持狭窄:Workload Map 描述工作负载结构,不负责调度、排队、自动扩缩容或跨集群传播。
在 dsx-ai-factory/workload-map GitHub 仓库中了解更多信息,并查看采用者项目。
以下开源项目解决互补的 AI 基础设施挑战。它们可以独立采用,也可以纳入包含完整 NVIDIA Run:ai 平台或选定组件的更广泛解决方案中。
在 Kubernetes 上冷启动推理工作负载可能需要数分钟,在此期间 GPU 虽已分配,却在单个步骤上空闲:将模型权重从存储加载到 GPU。Model Streamer 并发读取权重并直接流式传输到 GPU 内存,从而缩短大模型的加载时间。
自发布以来,Model Streamer 已被推理栈广泛采用,包括推理引擎、云提供商和存储平台供应商。
Model Streamer 已上游集成到 vLLM 和 SGLang 中,可通过 --load-format runai_streamer 标志启用,同时也集成在 ModelExpress 中。支持范围涵盖本地文件系统、S3 兼容存储和网络文件共享,以及下文详述的多种云后端。
各大云服务提供商现已在其官方指南中记录 Model Streamer。
多家 AI 数据基础设施合作伙伴已独立对 Model Streamer 进行基准测试并发布了结果:
当启动新副本和加载模型权重是主要瓶颈时,请使用 Model Streamer。
新兴的工作负载模式——包括智能体流水线、分离式服务和混合专家训练——由多个相互连接的组件构成,这些组件必须协同扩展。Grove 提供 Kubernetes API 来编排这些工作负载,从单个 Pod 到跨越数万块 GPU 的部署。
Grove 提供拓扑感知自动扩缩和分层 gang 调度,允许预填充和解码等组件以全有或全无的单元启动。在 NVIDIA GB200 NVL72 上,它还能自动管理 ComputeDomain 资源,通过单个注解而非手写 YAML 即可实现多节点 NVLink 性能。
Grove 是 NVIDIA Dynamo 的模块化组件,可独立使用,并且已在多家公司的大规模训练和推理流水线中发挥作用。近期工作包括支持 llm-d 和 Volcano 作为调度器后端,对 Kueue 的支持正在进行中。
对于具有不同角色和耦合扩缩容需求的图工作负载,请使用 Grove。
NVIDIA Run:ai 现已作为开源软件在 NVIDIA DSX AI Factory GitHub 组织中提供。如需了解更多信息并开始使用,请查看以下资源:
相关的开源项目包括:
我们很高兴将这项工作带给社区,并以开放方式构建下一代 AI 工作负载和 GPU 编排。欢迎您的贡献、问题和反馈。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文作者:Tanya Lenz;如有侵权,请联系管理员删除。