导语

当AI基础设施从实验室走向规模化生产，“能效”正在成为数据中心里最容易被引用、也最容易被误读的指标之一。有人盯着每瓦性能（Performance per Watt），有人只看每token成本（Cost per Token），两套话语体系常常在同一场采购评审会上各说各话。问题不在于哪个指标更“正确”，而在于它们回答的是不同的问题。本文尝试从指标定义、测量方法、负载差异与决策逻辑四个层面，梳理AI集群能效评估的常见误区，并给出一个可操作的判断框架。

一、两个指标，两种语言

每瓦性能衡量的是单位功耗下系统能交付多少计算或吞吐，本质是硬件与系统层面的效率指标。它关心的是“同样的电，能跑出多少活”。这个指标在芯片评测、服务器选型和机房供电规划中非常常见，优点是物理意义清晰、可横向比较，缺点是它通常默认了一个特定负载和特定精度，脱离负载谈每瓦性能意义有限。

每token成本衡量的是产出单位业务结果所需的综合开销，通常涵盖硬件折旧、电力、机房、运维乃至人力。它更贴近业务侧的语言，回答的是“生成一百万token要花多少钱”。优点是直接对应财务口径，缺点是对电价、利用率、折旧年限、模型结构等假设高度敏感，不同团队算出的数字往往不可比。

依据现有素材判断，这两类指标并不存在普适的换算关系。把它们放在同一张评估表里比较，必须先对齐负载、精度、利用率和成本边界，否则结论很容易失真。

二、测量方法：能效数字是怎么“算出来”的

能效评估的第一大误区，是把厂商给出的峰值数字当作实际运行水平。峰值每瓦性能通常在理想负载、理想批处理、理想精度下测得，而生产环境的利用率、批大小、序列长度分布往往与之相差甚远。

从测量方法看，至少需要区分几个层次：

• 芯片级：关注单卡在特定精度与批大小下的吞吐与功耗比，适合做硬件对比，但难以外推到集群。
• 节点级：把CPU、内存、网络、存储的功耗纳入，能反映整机的真实能耗结构。
• 集群级：还要叠加网络交换、冷却、供配电损耗（PUE相关），这一层才接近电费账单上的数字。
• 业务级：以实际请求分布、SLA约束和端到端时延为边界，测量单位有效产出的能耗。

测量手段上，功耗采样频率、采样点位置（板级、机柜级、机房级）、是否包含冷却与配电损耗，都会显著改变结果。一个常见的做法是同时报告“IT设备能耗”和“设施总能耗”，并明确标注口径。依据现有素材判断，目前行业内尚未形成统一的AI集群能效测量标准，跨厂商数字直接对比需要格外谨慎。

三、负载差异：训练与推理不是一回事

把训练和推理混在一起谈能效，是第二大误区。

训练负载通常具有高持续功耗、长周期、强同步的特征。其能效更多取决于集群的并行效率、通信开销占比和故障恢复能力。一个训练任务的“有效能效”，很大程度上被通信等待和检查点写入所稀释。评估训练能效时，单纯看GPU利用率并不够，还要看有效计算时间占比。

推理负载则呈现明显的波峰波谷和长尾分布。其能效高度依赖批处理策略、序列长度分布、KV Cache管理和模型量化程度。推理场景下，单位token能耗会随并发和序列长度剧烈变化，低负载时能效可能急剧下降。

这意味着，同一个集群在训练基准上表现优异，不代表在推理生产环境中同样高效。评估时必须明确负载画像：是预训练、微调还是在线推理？请求的输入输出长度分布如何？SLA对时延的约束有多紧？脱离负载画像的能效排名，参考价值有限。

四、常见误区盘点

结合上述分析，可以归纳出几类高频误区：

误区一：把峰值当常态。 用厂商峰值每瓦性能推算电费，往往严重低估实际能耗。

误区二：忽略利用率。 低利用率下的集群，其每token成本会被显著摊薄放大，但每瓦性能数字可能依然“好看”。

误区三：口径不一致就对比。 一方含冷却配电、一方只算IT设备；一方按满载算、一方按平均负载算，这样的对比没有意义。

误区四：只看能耗不看产出质量。 单位token能耗低，若模型质量或有效吞吐不达标，业务侧的综合成本反而更高。

误区五：忽视网络与存储。 大规模集群中，网络交换和存储I/O的能耗占比不可忽略，只统计计算芯片会系统性低估总能耗。

误区六：把能效等同于成本。 能效是物理效率，成本还叠加了电价、折旧、利用率和运维，两者不能互相替代。

五、能效与成本的综合决策框架

既然两个指标回答不同问题，实践中更合理的做法是分层使用，而非二选一。

第一层，用每瓦性能做硬件与架构筛选。 在明确负载画像和精度前提下，比较候选方案的物理效率，用于机房供电容量规划和散热设计。

第二层，用每token成本做业务经济性核算。 把硬件折旧、电力、机房、运维和利用率假设全部纳入，得到贴近财务口径的单位产出成本。

第三层，用利用率与SLA做约束校验。 检查在真实请求分布下，方案是否仍能满足时延与吞吐要求，避免“账面能效好、实际跑不满”。

第四层，做敏感性分析。 对电价、折旧年限、利用率、批大小等关键假设做区间测算，观察结论是否稳健。依据现有素材判断，很多决策分歧其实源于假设不同，而非事实不同。

一个务实的结论是：每瓦性能适合回答“这套系统效率高不高”，每token成本适合回答“这门生意划不划算”。 前者是工程语言，后者是经营语言，二者需要在同一负载画像和同一成本边界下配合使用。

六、趋势判断

从行业走向看，能效评估正在从单点指标走向体系化度量。一方面，随着推理负载占比上升，单位token能耗和单位请求能耗会越来越受重视；另一方面，供电与散热约束趋紧，使得每瓦性能重新回到架构设计的核心位置。两者并非替代关系，而是分别对应物理约束与商业约束。

可以预期的是，未来能效评估的竞争力将更多体现在“口径透明度”上：谁能清晰说明测量边界、负载画像和成本假设，谁的数字才真正可被采信。

结论

AI集群的能效评估，不存在一个放之四海而皆准的单一指标。每瓦性能与每token成本分别服务于工程效率与业务经济性两个决策场景。真正需要警惕的，不是选错了指标，而是在口径不一致、负载不明确、假设不透明的情况下强行对比。把负载画像、测量边界和成本假设讲清楚，比争论哪个数字更漂亮更有价值。

生成标记：本文由 ITPUB 文章生成平台基于已选素材整理生成。