今天在北美 PyTorch 大会上,llm-d 项目贡献者宣布推出 llm-d 1.0,这是开源 AI 基础设施的一个重要里程碑。作为一个 Kubernetes(容器编排平台) 原生的分布式推理服务网络,llm-d 使得在任何云、任何加速器上为任何模型部署推理栈成为可能。
此次发布标志着 llm-d 已超越对单项性能技术的演示阶段,准备好支持生产环境的现实需求:在多种工作负载下保持持续效率,同时在不断增长的需求中平衡服务优先级。随着推理成本不断上升,llm-d 旨在帮助企业将模型部署引入内部,并实现 AI 投资的回报。
这项工作由一个不断壮大的开源社区共同开发,成员包括硬件提供商、模型开发者、云平台和企业用户。作为 llm-d 的首席维护者,Red Hat、IBM 和 Google 帮助将先进的推理技术转化为企业可大规模运营的协调系统。这三家公司去年与 CoreWeave 和 NVIDIA 共同创立了 llm-d,AMD、Cisco、Hugging Face、Intel、Lambda 和 Mistral AI 等行业领导者也陆续作为贡献者加入。
其成果是为那些希望获得前沿级推理性能、又不想完全依赖某一家专有模型提供商、云或硬件平台的组织,提供了一个厂商中立的替代方案。
“llm-d 已准备好迎接第 2 天运维,”IBM Research 杰出工程师、llm-d 联合创始人兼首席维护者 Carlos Costa 表示。“llm-d 一直在为生产工作负载提供最先进的推理性能。1.0 版本增加的是成熟度,使其能像任何其他关键服务一样运行:稳定的 API(应用程序编程接口)、多个具有竞争优先级的租户共享同一基础设施,以及不中断运营的升级。这就是我们构建 llm-d 1.0 的目的。”
自 llm-d 发布以来,该项目一直专注于五种改善 AI 推理的重要方法:前缀缓存感知路由,将请求定向到可能已持有其共享上下文的基础设施;KV 缓存卸载,通过将缓存信息在 GPU(图形处理器)、CPU 和存储资源之间移动来延长其有效生命周期;批处理推理优化,将工作分组以便基础设施更高效地处理;预填充/解码分离,将读取提示词的工作与生成响应的工作分开;以及宽专家并行,将大型混合专家模型分布到众多加速器上。
这些理念对 1.0 版本来说并不新鲜。新鲜的是围绕它们的集成度和运维成熟度。
在 1.0 版本中,llm-d 已成熟为一个能够支持第 2 天运维的栈:即 AI 服务部署后必须发生的一切。这包括服务具有竞争优先级的工作负载、管理不同的性能需求、保持效率、优先处理重要服务,以及长期保持系统可靠性。基准测试可以展示某个功能提升了吞吐量,但生产系统必须在流量变化、硬件故障、软件更新或不同用户竞争同一资源时仍能持续提供该性能。llm-d 1.0 的目标是让各项技术在这些更不可预测的条件下协同工作。
在已经使 llm-d 成为强大分布式推理工具的核心技术创新基础上,llm-d 1.0 增强了对多租户服务质量、零停机运维和智能体感知服务的支持,以在常见的第 2 天生产运维中保持持续性能。企业 AI 服务可能通过同一端点接收来自人类和自主智能体的请求,但这些工作负载的行为方式不同。使用编码助手的人期望快速得到答案。智能体可能发送大量突发请求,在使用工具时暂停,然后返回进行另一轮模型调用。
借助流控(flow control),llm-d 1.0 可以管理工作负载共享同一硬件或跨多种加速器混合部署时的竞争优先级。流控、公平性和优先级划分有助于防止突发性工作负载压垮对延迟敏感的服务。在需求高峰时,系统可以更审慎地决定哪些请求应优先获得资源。请求还可以在多个轮次中保持绑定到适当的基础设施上。这能保持其前缀缓存(prefix cache)处于热状态,提高先前处理过的上下文被复用而非重新计算的机会。
这对对话式助手很重要,但对智能体(Agent(智能体))尤其有价值。智能体在执行任务时经常反复访问相同的代码、文档、指令和对话历史。前缀缓存感知路由(prefix-cache-aware routing)会将每一轮请求导向已持有相关上下文的副本,而 KV 缓存卸载(KV-cache offloading)有助于在 GPU 内存受限时保留更多可复用的信息。这就是生产就绪在实践中的样子:通过理解到达模型的请求并相应地管理基础设施,更高效、更具成本效益地服务模型。
这种对生产环境的关注直接关系到 AI 的经济性。随着 AI 进入日常业务运营,推理已成为一项经常性支出。智能体系统可能增加这项支出,因为单个任务可能涉及多轮推理、工具使用、评估和修订。如果每一步都需要模型重新阅读相同的材料,你就是在为系统已经完成的工作反复付费。
在最近一次智能体编码工作负载的测试中,llm-d 的前缀感知路由器(prefix-aware router)捕获了 97% 的可用缓存复用。通过避免重复计算并更高效地利用现有硬件,此类技术可以降低大规模 AI 服务的成本。在另一项近期演示中,IBM 和 Red Hat 在自托管部署上并发运行了 3,000 个软件工程智能体,成本比以服务形式提供同一开放模型的实际价格低 5 到 10 倍。
当组织运营自己的基础设施时,基础设施就成为可管理的成本结构的一部分。通过将开放权重模型与开放服务栈相结合,llm-d 为组织提供了另一种选择,用以控制 AI 消费、基础设施支出和业务价值之间的关系。
llm-d 可与 vLLM 或 SGLang 等推理引擎配合使用,增加将模型服务器转变为生产服务所需的分布式路由和运维能力。
这也赋予了 llm-d 在更广泛的开源生态系统中重要的角色。PyTorch 与开发 AI 模型和应用的人员密切相关。云原生计算基金会(CNCF)作为 llm-d 的沙箱项目托管方,更侧重于在生产环境中部署和运维系统。llm-d 项目是这两个世界之间的桥梁。
“llm-d 通过将 Kubernetes 原生编排直接引入 vLLM 和现代推理引擎,统一了 PyTorch 和 CNCF 生态系统,”Red Hat 首席技术官办公室副总裁 Stephen Watt 表示。“它提供高性能的分布式推理,具备企业所需的可靠性和规模——且全部在它们已经熟悉的运维模式之内。”
IBM 对 llm-d 的贡献反映了一种长期秉持的方法:将能够改进计算的理念转化为组织可以在现实世界中使用的开放技术。
借助 llm-d 1.0,这项工作帮助打造了一个推理栈,其设计目标不仅是性能出色,更要在 AI 成为关键基础设施时持续保持性能。开源 AI 推理已准备好投入生产环境进行运维、治理和优化。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原文来源:IBM Research Blog
原文作者:Peter Hess;如有侵权,请联系管理员删除。