最近我和一群CTO以及基础设施负责人共进晚餐，从交谈中可以明显看出，在当前环境下，许多公司在获取CPU方面正面临困难，并且正在接受这样一个现实：在AI推动需求激增的新时代，云服务商为机器提供丰厚折扣的日子已经结束。

困扰视频游戏等行业的“内存危机”已经广为人知，并且围绕GPU短缺已有大量报道，但如今看来，需要从云服务商获取CPU的企业所面临的处境同样艰难。

一个表明情况正在变化的迹象是，餐桌上有人提到了CPU现货定价的消失。过去，客户购买CPU最多可以比标准价格低90%，因为云服务商会为那些闲置未使用的机器大幅下调CPU价格。但现在已经不是这样了。现货定价似乎已经消失，因为CPU需求不再不足——恰恰相反。

我很惊讶，但很多人都附和了这一点；显然，如今如果没有与云服务商的长期合作关系，几乎不可能通过现货实例获得CPU。此外，预留特定CPU现在需要提前数月进行，云服务商甚至会拒绝某些预留请求，因为他们没有足够的CPU或合适类型的CPU。

即便是大玩家也难以预留CPU

我向turbopuffer CEO Simon Eskildsen询问了他们在云中CPU可用性方面的经验，因为turbopuffer作为产品运行在CPU上，而不是GPU上。他们在AWS、GCP和Azure上运营，所以我问他如今获取CPU有多容易。Simon的回答是：

“获取CPU已经不再容易了。随着强化学习（RL）成为大量工作负载的一部分：RL需要大量CPU。所以实验室正在吸走大量CPU。在RL过程中，他们需要教模型如何做事，比如搜索，然后他们需要模型运行软件，而这又需要CPU来运行。然后，在RL之外，智能体需要在CPU上执行各种非常通用的任务。因此，随着需求曲线转向通用智能体，CPU需求也在上升。即便是大公司也在互相争夺获取CPU配额的权利。我认为在CPU方面，情况会先变得更糟，然后才会好转。”

我能够证实Simon所说的关于大公司处境艰难的情况；一家大型推理服务提供商的工程副总裁告诉我，他们从云服务商那里能够购买的GPU和CPU容量已经达到上限。他们有钱可花，也想租用更多容量，并且愿意接受最长期限的租约。尽管如此，云服务商还是告诉他们，已经没有更多容量可用了！

AI正在吞噬CPU

Claude Platform平台工程负责人Katelyn Lesse曾撰文解释CPU需求大幅增长的原因：

“在过去几年里，AI推动的需求飙升，这几家公司突然需要数年时间和数百亿美元，才能真正增加足够的容量。最终，AI正在加剧工厂产能方面的3个独立瓶颈。在台积电，GPU正在与CPU（以及苹果、高通和博通）争夺生产线。而在SK海力士、三星和美光，HBM［高带宽内存］正在与普通DRAM争夺晶圆。最终的结果是，CPU正受到两面挤压。AMD没有自己的晶圆厂［半导体制造厂］，所以其CPU需要来自台积电受限的分配额度。英特尔确实拥有晶圆厂，但一直在解决良率问题，如今正从PC芯片中抽调部分产能来制造更多服务器芯片。而CPU需要DRAM，而由于内存生产已转向HBM，DRAM变得更加昂贵。分析师预计，CPU供应会比内存更早出现更宽裕的余量，但他们预计这仍需要好几个季度之后。”

AI 驱动的需求确实会增加 CPU 负载，正如 Uber 的这张图表所示，展示了过去六个月智能体请求的增长：

越来越多的“智能体请求”不仅生成推理密集型代码——因此需要图形处理器（GPU（图形处理器））——它们还运行编译代码、运行测试、运行 linter 等工具，而这一切都是 CPU 密集型的。在 Uber、Ramp 等公司，AI 智能体不再运行在开发者的本地机器上，而是运行在云端的专用实例上。因此，这些公司在各自的云服务商处为智能体工作负载预留了更多 CPU。我们最近报道了 Ramp 如何构建和运行其云端智能体 Inspect。

基本上，问题在于：

• AI 应用使用越来越多的 CPU，因为智能体运行了大量软件。AI 数据中心过去的 CPU 与 GPU 比例是 1:8。现在比例更接近 1:4，甚至可能缩小到 1:1。

• 能够制造更多 CPU 的公司正忙于其他硬件。台积电忙于生产 GPU，这可能比 CPU 更有利可图。同时，CPU 也需要 DRAM，但 DRAM 制造商（SK 海力士、三星和美光）转而生产高带宽内存（HBM），因为利润更高。这就是内存价格飙升的原因；正如之前报道的，即使是大科技公司也无法购买 RAM。

为了确保 CPU 供应，有必要提前最多 12 个月进行容量规划。Katelyn 表示，服务器订单的交付时间约为六个月，而不是之前的 1-2 周，价格上涨了 10-20%。所以，可能是时候进行容量规划了。Katelyn：

“我们大多数人从未对 CPU 进行过容量规划。我们规划过数据库，如果需要的话可能规划过加速器，并在预算允许的范围内按需自动扩展到 CPU 容量。但通用计算现在是许多团队需要提前承诺的东西，这意味着你可能应该开始围绕它进行预测和规划。如果你在大规模运营，有些事情值得投入精力。”

更高效地利用现有 CPU 是当下要做的事情。CPU 容量短缺不会消失，任何新申请的 CPU 分配可能需要数月才能到位。那么，如果新容量滞后，我们能做什么？一个选择是更高效地利用当前资源！

现在是审查并确定哪些服务是 CPU 密集型的好时机，以及它们是否必须如此。还要检查那些 CPU 利用率低的服务：它们能否在更少的节点上运行，以便将一些 CPU 容量分配给更需要它的服务？

确保更多 CPU 容量的最佳时机无疑是现在。我听到传言说，某些云区域不再接受新租户，因为所有 CPU 容量都已租出，或者在其他地方谈判困难。我还听说客户今天已经在付费预留容量，而这些容量要到 12 月才会在数据中心上线。这看起来像是供应商的掠夺性行为，但需求如此之高，这很可能是他们优先分配新容量的方式——同时赚取比平时高得多的利润。

如果你的公司有动态工作负载，并且过去使用过竞价实例，现在可能是分配固定容量的好时机——即使它更贵。如果你预计会有显著增长，现在这样做可能意味着在某些云服务商或某些区域拥有选择权。

作为 AI 广泛采用的必然结果，这个问题似乎已经蔓延到各处。有 GPU 短缺、内存短缺，现在 CPU 短缺也在加剧。去年年底，甚至出现了硬盘短缺。唯一似乎不缺的计算原语是网络！

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：The Pragmatic Engineer

原创地址：https://blog.pragmaticengineer.com/the-pulse-a-new-trend-of-cpu-shortages/