诚实的真相是，大多数企业应该同时使用云和本地部署。假装不是这样会导致代价高昂的架构错误。

每隔几周，就会有另一位企业领导者问我同一个问题：我们的人工智能智能体应该运行在云端还是我们自己的数据中心？这听起来像是一个简单的二选一，但这是错误的决策框架。智能体不是单一的工作负载。它们是模型推理、工具执行、记忆状态和集成逻辑的编排集合。有些部分属于云端，有些部分属于本地部署，而我反复看到的失败模式是，根据意识形态或供应商的销售演示来选择位置，而不是根据每个智能体工作的特性来决定。让我们正确地梳理这个问题，因为错误的答案会迅速变得昂贵。

支持云端的理由

云端对智能体的核心优势在于弹性与托管服务的结合。公有云上的智能体平台为你提供按需的模型应用程序编程接口、用于工具执行的无服务器函数、托管向量数据库、身份集成和可观测性，所有这些都可以在几天内而非几个月内实现。如果你的智能体具有突发性或不可预测的需求——大多数确实如此——云端让你只需为实际消耗付费，而不必为永远不会到来的峰值负载配置硬件。

在低到中等且呈尖峰状的利用率下，成本是有利的。按令牌计费的应用程序编程接口定价和基于消耗的计算意味着你避免了前期硬件投资，并将图形处理器故障、驱动更新和容量规划这些非差异化的繁重工作外包出去。对于前台用例，如面向客户的助手、工作流智能体和文档分类，性能通常是可以接受的，因为到云区域的延迟可以忽略不计，而且你可以水平扩展。

开发和部署才是云端真正胜出的地方。你的团队可以每天迭代智能体行为，利用与现有 SaaS 和数据服务的原生集成，并一键全球部署。提供商负责运营——模型更新、安全补丁和容量管理——你那些已经超负荷的平台工程师会对此表示感激。

不过，缺点也是真实存在的。在持续高利用率下，云端推理成本随用量线性增长，利润空间迅速压缩。你还要承担数据重力和治理风险。深入敏感系统的智能体会将受监管数据推过提供商的租户环境，合规团队会提出尖锐的问题，他们理应如此。最后，还有锁定问题。智能体框架、专有模型端点和提供商特定工具建立起来容易，解除起来却很痛苦。

支持本地部署的理由

在你自己拥有的硬件上运行智能体适用于三种模式：高且持续的推理量、严格的数据驻留或主权要求，以及与本地系统绑定的延迟敏感型工作负载，如工厂车间、医院网络和交易运营。一旦你的智能体集群全天候高负荷运行，摊销后的图形处理器成本加上能源加上运营费用，可能会低于你按令牌向云提供商支付的费用，特别是如果你运行高效的开源权重模型而不是高端前沿应用程序编程接口。

本地部署还让你能控制智能体接触最多的一样东西：你的数据。处理患者记录、金融交易或机密材料的智能体可以将一切保持在你的安全边界内，这使得审计、合同义务和主权要求变得极其简单。你控制模型版本、升级时机和整个运营面，因此不会出现悄无声息的模型弃用在一夜之间破坏生产智能体的情况——这种情况发生的频率比任何人愿意承认的都要高。

缺点同样明显。资本成本很高，现代推理图形处理器每块售价数万美元，而且无论是否达到峰值你都要按峰值配置。你拥有整个技术栈：电力、冷却、硬件更新周期、内核和驱动更新，以及可靠运行图形处理器集群所需的稀缺技能。利用率是致命因素。一块以 20% 利用率运行的本地图形处理器，是一台无论是否工作都要付租金的机器。开发速度也会受到影响，因为你的团队将周期花在基础设施上而不是智能体行为上。

公有云、私有云还是裸金属

这三者并非同一回事，将它们混为一谈会导致糟糕的决策。公共平台，即超大规模模型服务和智能体运行时，以控制权换取速度和规模。它们适合实验、面向客户的智能体，以及任何第一天就需要前沿模型质量的工作负载。私有云平台，即你自己的 VMware、OpenStack 或基于 OpenShift 的环境，越来越多地以托管数据中心内的裸金属部署形式提供，让你在自有硬件上获得类云的自动化和自助服务。对许多企业而言，这是务实的中间路线：在私有云上运行专用推理集群，前端由云原生编排驱动，数据和模型留在原地。

拥有原始硬件则完全是另一回事。在高持续利用率下，它的每 token 成本最低，可配置性最强，但运维要求也最高，而且你会失去智能体经常需要的弹性。我的经验法则是：公共云用于可变工作负载和前沿模型工作负载，私有云用于受治理约束的稳定内部智能体集群，只有在业务量、延迟或监管要求足以证明承担全部运维负担合理时，才选择自有硬件。

在智能体 AI 领域取得成功的企业的争论焦点并非云还是本地部署。它们会梳理每个智能体的特征，包括业务量、数据敏感性、延迟容忍度和增长轨迹。然后将其匹配到合适的执行位置，并构建可移植的设计，以便随着经济形势变化迁移工作负载。这种可移植架构才是真正的投资。做完这些功课之后，位置问题自然就有了答案，而且通常是混合方案。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：InfoWorld

原创地址：https://www.infoworld.com/article/4234013/the-best-place-to-run-ai-agents.html