在今年 IBM Think 大会上首次亮相的 AgentOps 是一套源自 IBM Research 的工具，旨在让 AI 构建者、开发者和工程师更容易了解他们构建的智能体是否按预期运行。

在短短几年间，生成式 AI 已从概念验证演示发展到重塑无数行业。据估计，未来几年生成式 AI 有望带来高达 4.4 万亿美元的经济效益。而这场革命正由智能体驱动。

智能体系统可以自主寻找问题答案、监控传感器或编写项目代码，无需逐行指令。我们正在见证这一强大新工作方式的第一波浪潮。IBM 自身刚刚在 Think 2025 上宣布了一套智能体，用于多个领域的任务，这些领域的工作者往往将时间花在重复性任务上，包括人力资源、采购和销售。

但每项新技术都伴随着开发者和工程师在放心大规模部署之前需要回答的问题。你如何知道你所构建的智能体确实按你的意图运行？

这正是 IBM 研究人员一直在努力解决的问题。智能体往往依赖动态工作流和非确定性逻辑，同时与其他软件、API（应用程序编程接口）、工具甚至其他智能体交互。它们允许用户创建以前可能耗时的工作流，但其开发者和最终用户需要知道它们每次都能完全按预期工作。当你打开发动机盖检查一辆运行中的汽车时，机械师知道应该发生什么——智能体也是如此。

现代智能体的复杂性带来了新的挑战：执行任务方式的不可预测性、输出质量的可变性，甚至可能随时间推移发生行为变化。这些问题意味着传统的监控、调试、测试和维护方法不足以追踪智能体的运行。

这促使 IBM 的一个研究团队深入探索他们称之为 AgentOps 的领域，让开发者和系统维护者能够对其智能体系统进行同样的底层检查。它使用户能够理解和调查智能体如何做出决策、其记忆状态是什么，以及它们如何利用外部工具。它追踪异常和回归，并应执行实时内省，将结果与之前的调查进行比较。目标不仅是让这些系统可观测，还要让它们迭代改进并适应变化——同时对治理它们的人负责。

IBM Research 正在进行的这项工作将融入 IBM 的主要产品中，供组织在未来使用，包括 IBM Instana 和 watsonx Orchestrate。在今年的 Think 大会上，IBM 发布了其 AgentOps 解决方案，这是一套强大的新工具，旨在帮助组织大规模观测、分析和优化 AI 智能体的使用。作为 watsonx 产品的一部分推出，AgentOps 为日益自主的智能体系统带来了可观测性和控制力。

AgentOps 团队确定了三个核心关注领域，以确保对企业智能体 AI 用例的适当支持。

第一个是构建在 OpenTelemetry（OTEL）标准之上，这是一个开源软件开发工具包（SDK（软件开发工具包））。它为 LangChain、watsonx、CrewAI 和 LangGraph 等智能体框架提供自动和手动插桩。AgentOps 采纳这些标准并加以扩展，将智能体、任务和工具视为系统的关键部分，确保重要信息在它们与工具运行环境之间顺畅流动。

该团队还在 OTEL 之上构建了一个开放分析平台，使用户能够非常详细地了解其智能体系统的运行情况。它使用户能够调查智能体的行为，甚至提出建议或自动更改以优化其执行任务的方式。而且它具有可扩展性，这意味着有兴趣添加新分析方式或新指标的 AI 研究人员和从业者可以轻松实现。

内置的分析本身由 AI 驱动，这意味着它们可以对手头任务生成独特的视角，包括多追踪工作流视图和轨迹探索。这一切最终形成了一种技术，能够真正优化智能体系统的准确性、延迟和成本，并推荐对提示词、LLM（大语言模型） 使用方式和智能体工作流的改进。

迄今为止，IBM Research 已成功运用 AgentOps 技术协助构建了面向一系列 IBM 自动化软件产品的多种智能体，包括 Instana、Concert 和 Apptio。随着智能体式 AI 系统在处理任务时纠偏方式上越来越接近人类，监控它们的工具也需要能够在开发者和工程师习惯的工作环境中做到同样的事情。应当能够直观地看到智能体正在提升公司绩效、降低完成任务所需的成本。这正是团队希望通过 AgentOps 实现的目标。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：IBM Research Blog

原创地址：https://research.ibm.com/blog/ibm-agentops-ai-agents-observability