ITPub博客

首页 > 人工智能 > 人工智能 > 一种面向智能体的“撤销并重试”机制

一种面向智能体的“撤销并重试”机制

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:45 0 删除 编辑

IBM Research 与伊利诺伊大学提出了一种面向云工程智能体的撤销并重试机制,可使其更安全、更有效地排查 IT 问题。

云计算的便利性也可能伴随风险,近期一连串故障事件已经证明了这一点。据一项估算,计划外 IT 故障的平均成本如今已达到每分钟 14,000 美元,较 2022 年上涨近 10%。

不断上升的成本给站点可靠性工程师(SRE)带来了前所未有的压力,要求他们快速解决事件。但随着新服务器上线的速度快于工程师保障系统安全的步伐,云服务提供商已将希望寄托于 AI。

当今用于 IT 运维的 AI 工具,俗称“AIOps”,主要帮助 SRE 进行分诊——发现症状并缩小疑似故障点范围。运维人员对 AI 智能体的信任还不足以让它们直接修复事件。如果没有可审计的轨迹以及回滚失败操作的方法,运维人员不太可能将响应的最后一公里交给 AI。

IBM 与伊利诺伊大学厄巴纳-香槟分校(UIUC)的研究人员提出的一项新颖安全保障,可能是解决问责问题的第一步。它有点像键盘快捷键 Ctrl+Z,是一个名为 STRATUS 的新型多智能体系统的核心。当 STRATUS 的修复智能体执行了不成功的操作时,一个“撤销”动作会将系统恢复到上一个检查点,从而可以探索替代解决方案。

STRATUS 得名于现实中的低云,在分别由 Microsoft 和 IBM 发起的开源云工程基准 AIOpsLab 和 ITBench 上,其表现至少比其他最先进系统高出 150%。该团队在已被 NeurIPS 2025 接收的一篇新论文中报告了他们的工作,并将 STRATUS 的性能提升归因于其撤销并重试机制。

“我们原以为智能体可能会陷入循环,一遍又一遍地犯同样的错误,”IBM 高级研究科学家、STRATUS 背后团队共同负责人 Saurabh Jha 说。“相反,我们发现它能够安全地探索新的缓解路径,并且似乎每次新尝试都表现得更好。”

当修复变成破坏

如今的 SRE 使用各种算法来检测、定位并识别云中机器和磁盘故障的根本原因,但最终仍由人类在实时系统上操作并完成修复。

通常,他们会与同事协作并查阅技术文档,以推理问题并尽量减少错误。“当他们确实出错时,他们的训练和创造性解决问题的能力使他们能够诊断并恢复,”Jha 说。

试图用 AI 智能体取代人类创造力的公司,面临着非常真实的风险:可能把坑挖得更深。大语言模型(LLM(大语言模型))出了名地不擅长知道自己不知道什么。就像一个过于热切的学生,它们可能不顾事实的准确性或相关性而抛出信息,而且它们可能容易受到“群体思维”的影响,因为许多模型是在相似数据上训练的,可能共享许多相同的盲点。

大语言模型还可能以人类认为鲁莽或冲动的方式行动,并可能对互联网状态和重要记录造成严重后果。“我们观察到,有些 AI 智能体会毫不犹豫地采取灾难性行动,比如试图删除整个生产集群,”Jha 说。“人类工程师几乎永远不会做出这样的决定,尤其是在没有充分验证和咨询的情况下。”

STRATUS 旨在为智能体系统带来更高的信任度和透明度。其安全回滚策略基于任何数据库管理员或软件工程师都熟悉的概念。它被称为事务性无回归(transactional-no-regression,TNR),确保只能进行不会破坏现有功能的可逆更改。

从表面上看,TNR 似乎是让智能体更安全的一种合理方式。然而,研究人员不确定它是否能应用于不可预测的多智能体系统。Jha 表示:“当你没有固定的测试或预言机来明确定义‘正确’行为时,要确保智能体不会做出任何有害的事情,并且能够完成目标而不陷入困境,这要困难得多。”

为了绕过行为建模问题,研究人员设计了一种方法,让智能体监控其环境状态,从而有效地检查其工作。在 STRATUS 缓解智能体执行一系列步骤——这些操作合计为一个称为“事务”的工作单元——之后,智能体会评估系统的严重程度。如果新状态更糟,智能体将中止该事务,系统恢复到初始的检查点状态。

Jha 表示:“我们的核心假设是每个操作都必须是可撤销的。如果智能体提出一个操作,比如删除数据库,而系统识别出这是破坏性且不可恢复的,那么该操作在运行之前就会被拒绝。此时,智能体必须要么找到替代的、可安全撤销的解决方案,要么将问题上报给人类。”

为了使回滚生效,研究人员必须在 STRATUS 中内置若干约束。写锁防止智能体同时执行命令,这些命令会先被模拟以捕获潜在错误。智能体执行的每个操作也有对应的撤销操作符。这有效地防止了诸如删除文件之类的不可逆更改。最后,一个事务内可执行的命令数量受到限制,以便于回滚。

随着企业探索大语言模型智能体在云和其他生产环境中解决事件的潜力,研究人员越来越关注安全性。斯坦福大学的一个团队最近提出了一个名为 SagaLLM 的多智能体系统,其中包含针对智能体的事务性安全保障。然而,Jha 表示,它没有对系统的外部状态进行建模,而外部状态建模才能使其作为安全备份来撤销操作。

云端及更广泛的领域

该团队目前正在完善 STRATUS,并希望将其事务性安全概念应用于软件工程智能体。Jha 表示,这是一个更容易的问题,因为像 GitHub 这样的编码平台已经提供了检查点和中止机制(用 Git 术语来说就是“commit”和“checkout”)。

事务性安全也可以应用于数据库管理和性能工程领域的 AI 智能体,性能工程是一个专注于将效率和稳定性设计到软件系统中的领域。未参与该工作的 UIUC 计算机科学教授 Indranil Gupta 表示,事务抽象允许多个程序安全地访问共享状态,这就是为什么它们天然适合多个智能体同时运行的系统。

Gupta 表示:“STRATUS 的工作具有开创性,因为它理解(并阐明了)事务抽象的哪些方面与智能体世界相关。具体来说就是‘无回归’,这是确保一组智能体取得进展而非原地打转的关键。”

他补充说,事务抽象在数据库管理中已有充分研究,但仍不清楚哪些可以迁移到智能体,哪些还需要探索。他说:“这些仍然是开放性问题。STRATUS 的论文有望鼓励整个社区的研究人员参与解决这些问题。”


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:IBM Research Blog

原创地址:https://research.ibm.com/blog/undo-agent-for-cloud

原文作者:Kim Martineau;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1090
  • 访问量
    546712