IBM Research 推出了一套名为 ITBench 的新基准测试，旨在以客观、科学的方法判断 IT 自动化智能体是否真正让企业的工作变得更轻松。
近年来生成式 AI 的爆发式增长令人惊叹。我们已经有系统能为我们写诗、帮助我们解决编程问题，并就任何话题与我们聊天。但在将这些革命性系统引入企业方面，采用率相对有限。
目前，要从根本上比较这些 AI 系统在可靠解决业务问题方面的效能是很困难的，因为证明效能的测试实际上并不存在。“你需要建立对这些系统的信任，”IBM Research 的 AI 与自动化副总裁 Nick Fuller 表示。“当你没有衡量标准时，这就更难了。”
仅就 IT 自动化领域而言，其格局比几年前要复杂得多。任何一家公司都缺乏足够的人员来处理事件管理、源源不断的合规任务，以及员工每天执行的所有其他 IT 运维任务。
从 IBM 的 Daby Sow 那里了解更多关于目前可用的三项基准测试的信息。
“IT 格局日益复杂，而生成式 AI 让事情变得更加困难，”Fuller 团队中负责 IT 自动化 AI 的总监 Daby Sow 表示。我们已经看到，当 IT 错误未被发现时，可能造成的那种全球性损害。“当你犯错时，你就要付出代价，”Sow 补充道。
这些问题促使 IBM Research 开源了一套基准测试，以帮助衡量针对这类问题的自动化解决方案，并让 AI 构建者更容易将生成式 AI 引入企业任务。这些新基准测试统称为 ITBench，将为 AI 从业者提供一种科学的方法，来衡量他们正在构建的智能体在解决实际问题方面的有效性，以及他们的智能体在企业每天执行的任务上与其他智能体相比表现如何。
供应商们正在涌现出无数工具，承诺为事件管理等 IT 问题带来生成式解决方案，但一家公司应该如何客观地比较一组工具与另一组工具？或者，如果你是一位新任 CIO，想要评估你继承下来的技术资产，你可以去哪里寻求公正的评估？在其他 AI 领域，针对各种任务已经涌现出基准测试，用于衡量 AI 智能体和系统调试代码的能力、对话能力，甚至为你规划一个美好假期的能力。但在解决复杂 IT 问题方面，此前并不存在类似的东西。这促使 Sow 及其团队着手开发 ITBench。
从一开始，就将有三项基准测试，分别聚焦于站点可靠性工程（SRE）、FinOps 成本管理和合规评估。从最高层面来看，这些基准测试旨在成为一个开放框架，用户可以在其中查看他们的智能体是否能够高效地解决问题。对于 SRE 来说，智能体能否识别系统中存在警报，并迅速查明其来源并提供修复方案？对于合规官来说，当你的国家出台一项新规则时，智能体能否评估系统、理解法规，并判断该系统是否合规？而在成本考量方面，例如对于希望了解如何在预算约束内推出新产品 的管理者来说，智能体能否提供解决方案？
在每一种情况下，智能体都要执行多个流程才能得出结果。对于合规而言，法规是用自然语言写成的。这意味着智能体需要理解文档的意图，将其转化为给定软件所用语言中的可执行代码，找到该软件代码中处理合规问题的相关部分，然后检查其代码是否与合规问题相匹配。随后，基准测试会根据智能体是否成功处理了该问题以及处理速度对其进行评分。
这些都不是简单的任务，而且很容易看出，当看似微小的问题被忽视时，错误是如何产生的。这些基准测试是使用重大事件、合规控制和 FinOps 场景的真实案例构建的，其中包括一个 bug 导致公司损失 20% 数据的案例。随着更多功能更多的工具被添加到 AI 工程师传统上经验不足的混合 IT 基础设施之上，这些问题变得越来越难以发现。
据 Sow 称，这些基准测试的目标是向更多开发者和最终用户开放智能体工作流。AI 从业者现在不需要了解 Instana 工作流的细节，就可以测试他们的 IT 智能体是否处理了预期任务。从长远来看，Sow 和 Fuller 设想了一个未来：智能体甚至可以变得主动而非被动，在代码、法律文档或任何其他数字业务流程中的潜在问题达到国际灾难的程度之前，就将其根除。
IBM Research 已经在开发自己的智能体，Sow 和团队希望这些智能体能在这些基准测试的排行榜上名列前茅。该团队还在开发更多基准测试，以开始检验 IT 自动化其他领域的有效性。
你今天就可以在 GitHub 上的 ITBench 中测试你的 IT 智能体。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文来源：IBM Research Blog
原文作者：Mike Murphy；如有侵权，请联系管理员删除。
