当大模型参数规模从百亿走向万亿,单机内的 GPU 互联已经无法承载训练与推理的通信需求,“超节点”这一概念随之成为 AI 基础设施讨论的高频词。超节点的本质,是把数十乃至数百颗加速器通过高带宽、低延迟的互联协议组织成一个逻辑上的“大机器”。而围绕这台“大机器”该用什么协议连接,业界正在形成几条明显不同的技术路线:以 NVLink 为代表的私有高速互联、以 UALink 为代表的开放 Scale-up 标准,以及以以太网为基础的通用网络方案。
传统 AI 集群的扩展依赖两层网络:节点内靠 PCIe 或私有互联,节点间靠 InfiniBand 或以太网。这套结构在中小规模训练中运转良好,但当模型并行、专家并行(MoE)、张量并行等策略被大规模采用后,通信模式发生了根本变化——大量集合通信操作(All-Reduce、All-Gather、All-to-All)在加速器之间高频发生,跨节点通信的带宽与延迟直接决定了集群的有效算力利用率。
超节点的思路,是把原本属于“节点间”的通信下沉到“节点内”的语义里,用更高带宽、更低延迟的 Scale-up 互联把更多加速器纳入同一个高速域。这带来的直接问题是:这个高速域用什么协议构建、能扩展到多大、由谁定义生态。三个问题分别对应带宽与延迟、拓扑与交换机、生态开放度,也正是三条路线分歧的根源。
NVLink 是最早成熟并被大规模验证的 GPU 间高速互联方案。它的核心价值在于把 GPU 之间的通信带宽提升到远超 PCIe 的水平,并通过 NVSwitch 这类专用交换芯片构建多卡全互联拓扑,使数十颗 GPU 能在同一高速域内以接近对称的带宽互相访问。
从技术特征看,NVLink 路线的优势集中在三点:一是带宽与延迟的极致优化,协议为加速器间通信深度定制,集合通信效率高;二是拓扑成熟,配合专用交换机可以构建较大规模的 Scale-up 域;三是软硬件协同紧密,编程模型与通信库的适配度高。
但它的争议同样明显。NVLink 本质上是私有协议,互联域的范围、交换芯片的供应、跨厂商的兼容性都由单一生态主导。对于希望多源采购、避免被单一供应商锁定的云厂商与大型企业而言,这是一条性能优秀但开放度受限的路径。超节点规模越大,这种生态依赖就越难被忽视。
UALink 的出现,正是对上述封闭性的一种回应。它由多家厂商联合推动,目标是为加速器间的 Scale-up 互联定义一个开放标准,让不同厂商的加速器与交换设备能够在同一互联域内协同工作。
从方向上看,UALink 试图在协议层面复刻 NVLink 类方案的核心能力——高带宽、低延迟、支持大规模加速器互联——但把定义权交给开放联盟。这对产业的意义在于:一旦标准成熟,超节点的构建将不再绑定单一生态,交换机与加速器可以多源供应,系统集成商也获得更大的设计空间。
需要客观看待的是,开放标准的落地节奏通常慢于私有方案。标准的制定、芯片的实现、互操作性的验证、软件栈的适配,每一环都需要时间。依据现有素材判断,UALink 目前仍处于标准推进与生态建设阶段,其商用成熟度与大规模部署效果,尚需观察实际产品与部署案例。它代表的是方向上的开放性,而非当下即可替代成熟方案的现实能力。
以太网路线的主张截然不同:与其为 Scale-up 单独定义一套协议,不如把通用以太网的能力持续增强,用一套网络承载尽可能多的场景。
这条路径的优势在于生态极其庞大、供应链成熟、运维体系普及,且天然支持跨厂商设备。近年来针对 AI 负载的以太网增强(例如面向无损传输与拥塞控制的改进)不断推进,使其在部分场景下具备了承载高性能集合通信的能力。
但以太网要进入超节点的核心高速域,仍面临带宽与延迟的挑战。Scale-up 互联对时延的敏感度远高于传统数据中心网络,通用以太网在协议开销、转发时延与拓扑效率上,与专用互联存在结构性差异。因此更现实的判断是:以太网在 Scale-out 层(节点间大规模组网)具备压倒性的通用性优势,而在 Scale-up 层能否全面替代专用互联,取决于以太网增强技术的实际进展,依据现有素材判断尚无定论。
把三条路线放在同一坐标系里看,分歧可以归结为几个技术维度。
带宽与延迟方面,NVLink 与 UALink 都属于为加速器间通信定制的 Scale-up 协议,追求的是极致带宽与尽可能低的时延;以太网则以通用性换取普适性,在专用高速域内需要额外增强才能接近前者的表现。
交换机与拓扑方面,NVLink 依赖专用交换芯片构建全互联或近全互联拓扑,拓扑设计与芯片供应强绑定;UALink 若按开放标准推进,理论上允许更多厂商提供交换设备,拓扑选择更灵活;以太网则拥有最丰富的交换设备生态与最成熟的拓扑实践,但在超节点所需的高密度、低时延拓扑上需要针对性优化。
生态开放度方面,这是三条路线最本质的差异。NVLink 是性能优先的封闭生态,UALink 是开放优先的联盟标准,以太网是通用优先的产业共识。选择哪条路线,本质上是在性能上限、供应安全与长期成本之间做权衡。
超节点互联的选择,最终会体现在集群能扩多大、扩得多有效率上。
选择私有高速互联,通常能更快获得较高的单域规模与通信效率,适合对性能极度敏感、且愿意接受单一生态依赖的场景。选择开放标准,则是在为未来的多源供应与规模化扩展留出空间,但需要承担标准成熟过程中的不确定性。选择以太网,优势在于与现有网络体系的无缝衔接和运维一致性,适合追求整体 TCO 与通用性的部署。
一个值得注意的趋势是,超节点并非只有“一个互联域”那么简单。实际系统往往是 Scale-up 域与 Scale-out 网络的分层组合:域内用高速专用互联保证集合通信效率,域间用以太网或 InfiniBand 完成大规模扩展。因此“互联方案之争”更准确的表述,是不同层次该用什么协议、以及域内协议是否应该开放。
第一,Scale-up 与 Scale-out 的分层不会消失,但两层的边界会随协议能力变化而移动。专用互联向上扩规模、以太网向下探性能,两条曲线在中段存在竞争。
第二,开放标准是长期方向,但成熟需要时间。UALink 的价值不在于短期替代谁,而在于为产业提供一个可多源供应的选项,降低超节点构建的生态风险。
第三,以太网的竞争力取决于 AI 增强技术的落地程度。它在 Scale-out 层的主导地位短期内难以撼动,能否进入 Scale-up 核心域,要看时延与无损能力的实际改进。
第四,选择互联方案正在从纯技术决策变成供应链决策。超节点规模越大,生态开放度、供应安全与长期成本的权重就越高。
NVLink、UALink 与以太网并非简单的替代关系,而是分别对应性能优先、开放优先与通用优先三种价值取向。超节点的互联之争,表面上是带宽与延迟的参数比拼,深层则是谁来定义高速互联域、以及这个域能开放到什么程度的生态博弈。
对技术决策者而言,理性的做法不是押注单一协议,而是厘清自身负载的通信特征、扩展规模预期与供应链约束,在 Scale-up 与 Scale-out 的不同层次上组合使用合适的方案。超节点的扩展性上限,最终不取决于某一条协议的理论带宽,而取决于协议选择与业务负载、生态现实的匹配程度。
生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/28285180/viewspace-3187662/ ,如需转载,请注明出处,否则将追究法律责任。