在短短几年内，我们已经看到 AI 用例激增，并且正在颠覆世界的生活方式。而在企业领域，我们开始看到这场革命逐渐扎根。

然而，与任何其他软件一样，集成到企业工作流中的 AI 系统需要在大规模下可靠运行。但对于当今的 AI 任务而言，验证所部署的模型和智能体是否完全按照工程师的预期运行并不总是那么容易。

这正是 IBM 一直在努力解决的问题。今年早些时候，IBM Research 发布了一套新的基准测试，名为 ITBench，旨在以科学严谨的方式展示 IT 自动化智能体如何让企业的工作变得更轻松。最近，IBM 的研究人员又在 AssetOpsBench 上做了同样的事情，这是一套帮助开发者和 AI 从业者为资产管理软件构建和评估 AI 智能体的工具。

今天，IBM 与 Kaggle 合作，将这些真实的企业基准测试引入排行榜，使每天访问该网站的数千名 AI 工程师、开发者和科学家都能访问。这将帮助这些 AI 从业者在真实的企业环境中可能遇到的现实、多步骤操作任务上评估模型和智能体。目标是提供反映企业每天面临的实际状况的标准化度量，确保这些组织的开发者能够就使用哪些模型和智能体做出最明智的选择。

多年来，随着世界变得更加互联，IT 系统也变得越来越复杂。软件栈或数据中心可能存在的故障点数量之多，以至于即使团队人员全天候工作，也不可能监控所有内容——更不用说判断系统未来是否可能出现故障迹象。这导致了自动化软件的蓬勃发展，用于跟踪缺陷、系统故障和其他问题，甚至对其进行修复。

在资产生命周期管理领域，挑战来自数据类型的多样性——从工单到故障模式描述，从每项资产的告警到 IoT 设备的传感器数据。融合这些数据源以理解上下文、编排相关分析以评估资产健康状况并采取相应行动的能力，正是目前借助 AI 和智能体来应对的挑战。

就 ITBench 而言，任务可能包括诊断 Kubernetes（容器编排平台） 集群中的故障服务、评估 CIS 基准测试的合规性，或解释云环境中的成本异常。对于 AssetOpsBench，任务可能包括评估资产状况、识别系统可能如何发生故障，或推荐传感器以帮助检测未来故障。

智能体系统将这一理念提升到了新的水平，它们有可能在问题发生之前发现它，就需要采取哪些行动来修复问题提出建议，甚至自行实施修复。IBM Research 一直在研究的基准测试可以帮助开发者确定哪些智能体模型最能满足他们的需求。流行的通用基准测试推动了显著进步，但它们并不能反映真实企业工作流的需求——在这些工作流中，模型和智能体必须对事件进行推理、诊断故障、驾驭复杂基础设施，并支持高风险决策。

这正是 Kaggle 发挥作用的地方。它是 AI 从业者在线聚集、比较模型、探索最新数据集，并对他们希望部署的软件进行压力测试的平台。通过他们的软件开发工具包，团队可以轻松将这些基准测试转化为排行榜。“它们消除了构建和维护高质量基准测试的运维复杂性，”IBM Research 的 AI 生态系统与合作负责人 Ayhan Sebin 表示。

通过与 Kaggle 合作，IBM 将其视为一种汇聚更广泛生态系统、使这些基准测试更强大，并最终帮助解决现实世界问题的方式。“我们希望将学术界、客户、初创公司和评估者聚集在一起，共同创新并为具有企业级影响力的基准测试做出贡献，”IBM Research 高级技术员工 Dhaval Patel 表示。

虽然 Kaggle 上的这些企业排行榜在设计上注重易用性和可访问性，但它们尚未涵盖真实生产环境的所有复杂性。现实世界的 IT 系统涉及复杂条件，包括系统中的噪声、大规模和不可预测的行为。在站点可靠性工程等领域，智能体通常需要实时修复事件，而这不在这些离线基准测试的覆盖范围内。当前的重点是为研究和评估提供一个可复现的、简化的起点。

这些 IBM 企业排行榜标志着 IBM Research、合作组织和开源社区内一项更广泛努力的开始，旨在帮助解决企业每天都会遇到的各种问题。该团队将继续扩展这些基准测试，深化其覆盖的任务类型，并计划将智能体评估引入排行榜，以帮助与社区分享经验，并为下一波企业自动化提供背景。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/ibm-kaggle-leaderboards-enterprise-ai