导语

当大模型参数规模跨过单卡显存容量之后，“模型并行”就不再是可选优化，而是训练能否跑起来的先决条件。但并行策略并不是免费的：数据并行、张量并行、流水线并行在通信模式、通信量级和延迟敏感度上差异巨大，直接决定了 GPU 互联、集群网络和存储系统该怎么配。本文从通信量差异出发，梳理三类并行策略对硬件的真实要求，并给出并行策略与硬件匹配的工程判断。需要说明的是，本文依据公开的并行计算常识与工程实践撰写，未引用特定厂商的实测数据；涉及具体数值时请以实际压测为准。

一、三类并行策略的通信特征差异

理解硬件要求的前提，是先看清三类并行各自“在通信什么”。

数据并行（Data Parallelism） 把同一份模型复制到多张卡上，每张卡处理不同的数据分片，反向传播后对梯度做一次全局归约（All-Reduce）。它的通信发生在每步迭代末尾，通信量与模型参数量成正比，与单卡计算量成反比。数据并行的特点是通信频次低、单次通信量大、对带宽总量敏感但对单次延迟相对宽容，因此更容易通过增大 batch、梯度累积等方式摊薄通信开销。

张量并行（Tensor Parallelism） 把单个矩阵乘或注意力头切分到多张卡上，前向和反向过程中每一层都要做多次 All-Reduce 或 All-Gather。它的通信频次极高——几乎每层都要通信，单次通信量却不大。这意味着张量并行对互联延迟和互联带宽都极其敏感，通常被限制在单机或单超节点内部，依赖 NVLink、NVSwitch 这类高带宽低延迟互联，跨机做张量并行往往得不偿失。

流水线并行（Pipeline Parallelism） 把模型按层切分成多个 stage，分给不同设备，通过微批次（micro-batch）流水执行。它的通信只发生在 stage 边界，通信量小、频次低，但对负载均衡和气泡（bubble）比例敏感。流水线并行天然适合跨机部署，对网络带宽的要求远低于张量并行，但对集群的稳定性和 stage 间点对点通信的可靠性有要求。

一句话概括：数据并行拼带宽总量，张量并行拼互联延迟，流水线并行拼调度与均衡。

二、通信量差异如何传导到硬件选型

GPU 互联：张量并行的硬约束

张量并行把通信压到了每一层，这使得 GPU 之间的互联成为第一瓶颈。工程上的普遍做法是把张量并行组控制在单机 8 卡或单超节点范围内，依靠高带宽、低延迟的卡间互联承载高频 All-Reduce。一旦张量并行跨出高带宽域，通信开销会迅速吃掉计算收益。因此，评估一台 AI 服务器时，卡间互联的带宽和拓扑（是否全互联、是否支持多卡广播）比单卡算力更值得优先确认。依据现有素材判断，这一结论在主流大模型训练实践中具有普遍性，但具体带宽阈值需结合模型层数和 micro-batch 实测。

集群网络：数据并行与流水线并行的主战场

数据并行的梯度 All-Reduce 和流水线并行的 stage 间点对点传输，主要跑在机间网络上。数据并行对网络的要求是“大带宽、可容忍一定延迟”，因此 RDMA 网络、无损以太网或专用高速网络成为标配；流水线并行则更看重 stage 间链路的稳定时延和带宽一致性，避免某个 stage 拖慢整条流水线。两类并行叠加时，网络需要同时承载集合通信和点对点通信，拓扑设计（如胖树、轨道优化）会直接影响扩展效率。

存储：被低估的隐性要求

并行策略对存储的压力常被忽视。数据并行需要每个 rank 高效读取训练数据分片，checkpoint 时又要多卡并发写入大文件；流水线并行在 stage 切分后，各 stage 的激活值和参数分布不同，checkpoint 的写入模式更复杂。大规模训练中，checkpoint 的写入带宽和恢复速度直接关系到故障后的重启成本。因此，存储系统需要具备高并发读写能力，并在容量、带宽和元数据性能之间取得平衡。素材未提供具体存储指标，此处仅作方向性判断。

三、并行策略与硬件的匹配原则

把上面的分析落到工程决策上，可以归纳为几条匹配原则。

第一，先定并行维度，再定硬件形态。 如果模型必须做张量并行，就要优先保证单机或超节点内的高带宽互联，宁可牺牲单机扩展性也要把张量并行组关在一个高速域内；如果以数据并行和流水线并行为主，则把预算倾斜到机间网络和存储吞吐上。

第二，混合并行是常态，硬件要留出组合空间。 实际训练通常是“数据并行 × 流水线并行 × 张量并行”的三维组合（如常见的 DP/PP/TP 组合）。硬件配置需要同时满足三类通信的需求，任何一块短板都会成为扩展效率的天花板。评估集群时，应看三维组合下的端到端吞吐，而不是单项 benchmark。

第三，通信与计算要能重叠。 张量并行的高频通信尤其依赖通信与计算的重叠能力，这既需要框架侧的调度优化，也需要硬件具备足够的异步通信能力。硬件选型时应关注互联是否支持高效的异步传输，以及网络是否支持集合通信加速。

第四，按扩展规模做阶段性匹配。 小规模训练可以靠单机高带宽互联加普通网络起步；规模扩大后，网络拓扑和存储并发会成为主要瓶颈，需要提前规划。依据现有素材判断，扩展效率的拐点因模型和集群而异，建议以实际压测的线性度曲线作为扩容依据。

四、趋势判断

从并行策略的演进看，硬件要求正在朝两个方向收紧。一方面，张量并行的普及推动单机/超节点内互联带宽持续升级，卡间互联正从“够用”走向“决定训练可行性”的关键指标。另一方面，随着集群规模扩大，数据并行和流水线并行对机间网络与存储的压力同步上升，网络与存储不再是配套，而是与 GPU 同等重要的基础设施。对技术团队而言，并行策略与硬件的匹配不应停留在采购清单层面，而应作为训练系统设计的一部分，在模型结构、并行维度和硬件拓扑之间做联合优化。

结论

模型并行对硬件的要求，本质上是通信特征对硬件能力的映射：张量并行把压力压在 GPU 互联的延迟和带宽上，数据并行把压力压在集群网络的总带宽上，流水线并行把压力压在调度均衡和点对点链路上，而三者共同抬高了存储的并发读写门槛。合理的做法是先明确并行维度组合，再据此匹配互联、网络与存储，并用端到端压测验证扩展效率。硬件没有绝对的好坏，只有与并行策略是否匹配。

生成标记：本文由 ITPUB 文章生成平台基于已选素材整理生成。