首页 > 人工智能 > 人工智能 > CIO借助利用率数据了解AI计算的真实成本

CIO(首席信息官)需要掌握计算相关成本的方法。过去,CIO只需查看笔记本电脑或工作站的价格,就能大致估算出为员工提供完成工作所需工具的成本。由于与购置设备的初始投资相比,普通办公电脑的耗电量相对较少,因此电费成本很少会影响采购决策。AI工作负载改变了这一局面。随着员工(即工程师、开发人员、设计师等)越来越需要配备GPU的工作站及其他高性能设备,这些设备的耗电量远高于普通企业计算机,电费已成为决定总体拥有成本的一个重要因素。
虽然单台机器可能不会对公司的电费账单产生显著影响,但数百甚至数千台机器在工作日全天持续运行,将导致电费成为一项主要的运营开支。
因此,CIO必须全面考量高性能硬件的总拥有成本,其中既包括购置成本,也包括GPU及散热系统的持续用电成本。企业正在对高性能硬件进行大量投资,随着它们持续采购更多高性能硬件,为这些设备供电和散热所需的电量正以惊人的速度增长,甚至开始影响特定硬件采购的经济可行性。
标价仅是成本的一部分
一台高性能工作站在其生命周期内产生的电费可能在1000至2000美元之间,具体取决于其配置、工作负载、利用率、当地电价以及使用寿命。
此外,工作站产生的热量远高于标准个人电脑,这会增加大规模部署的散热成本。CIO虽无需将费用精确到最后一美元,但在评估潜在的硬件采购时,必须将所有相关费用纳入考量。
更进一步而言,CIO需要了解员工实际消耗了多少可用计算能力。需要大量计算资源的工作负载通常以短暂的突发方式出现。
例如,一名工程师可能仅需将工作站满负荷运行几小时来编译代码、运行模拟或处理AI模型,随后一整天都在编写代码、审查结果或参加会议。即使工程师仅使用了机器性能的一小部分,公司仍需为这台专为处理峰值工作负载而设计的机器买单。
闲置计算成本高昂
当这种间歇性使用模式出现在数百甚至数千台工作站上时,成本会迅速累积。公司可能会为每位工程师配备一台高性能机器,以应对他们需要最高性能的短短几小时,即使在一天中的其余时间,大部分计算能力都处于闲置状态。公司已经为这部分额外容量付过费,无论员工是否使用,都必须持续支付其供电和散热的费用。
CIO需要依据利用率数据来判断这笔支出是否合理。两台工作站的成本可能相同,但如果一台经常满负荷运行,而另一台却很少如此,它们所提供的价值将大相径庭。追踪实际使用情况能让CIO更清晰地了解所投入资金的实际回报。
AI使预测峰值需求变得更加困难
由于AI工作负载的特性,使用情况的追踪正变得至关重要。员工人数已不再是衡量计算需求的有效指标。过去,企业可以根据职位描述合理预测所需的笔记本电脑数量,并根据岗位职能分配相应的配置。由于职位描述相似的员工通常具有相似的计算需求,因此按计划更新设备也是一个相对简单的过程。
即使在职位名称相似的员工之间,AI工作负载也存在显著差异。有些工程师可能需要定期运行模型或其他计算密集型应用程序,而另一些人可能每周仅需几小时的额外处理能力。此外,每位员工在处理不同任务时的需求可能剧烈波动,这使得仅凭历史使用模式来选择硬件变得困难。
为每位员工配备一台足以满足其峰值计算需求的工作站,虽然能确保他们在需要时拥有足够的计算能力,但大部分时间这些资源可能处于闲置状态。根据平均需求采购设备虽可减少这种浪费,但当遇到更繁重的工作负载时,员工可能会面临计算能力不足的问题。CIO需要依据利用率数据来了解这些峰值出现的频率,以及是否值得购买专用硬件来应对这些峰值。
评估高效计算小时的价值
CIO需要跳出硬件预算的局限,了解员工实际使用的计算资源究竟会带来多少成本。一种方法是衡量每小时高效计算的成本,这需要综合考虑工作站的全生命周期成本、其耗电量以及员工实际的使用时长。这使得CIO能够对比不同设备,并判断在何种情况下采用专用硬件比共享或远程计算更为合理。
没必要计算的特别精确,也具有实用价值。如果一台价格较低的工作站耗电量大,且一天中大部分时间处于闲置状态,最终成本可能反而更高;而如果员工经常需要使用额外的计算能力,那么一台价格更高的机器可能值得投资。
随着AI在整个企业中对高性能计算的需求不断增加,CIO们将在设备及其运行所需的电费上投入更多资金。了解工作站的购置成本可以让他们掌握硬件支出情况,而每小时有效计算成本则反映了员工实际使用的计算能力所产生的费用。CIO在决定下一笔计算支出去向之前,应充分理解这两项指标。
作者:Benjy Boxer是Phaze的创始人兼首席执行官。
来自 “ https://www.hpcwire.com/bigdatawire/2026/10/19/cio ”,原文链接:https://blog.itpub.net/69925873/viewspace-3187007/ ,如需转载,请注明出处,否则将追究法律责任。