随着生成式 AI 持续以前所未有的速度普及，我们已经看到它正在演变为下一代机器学习驱动的技术：智能体 AI。

借助智能体 AI，我们不再只是通过简单的单步流程向模型发出提示并接收答案。AI 正在参与复杂的多步流程，通常与不同系统交互以实现预期结果。例如，一个组织可以拥有一个由 AI 驱动的帮助台，其中的智能体使用自然语言处理来理解和处理员工提交的 IT 支持工单。这些智能体可以自主重置密码、安装软件更新，并在必要时将工单升级给人工人员。

智能体将成为 AI 行业最重要的创新之一，可能超过未来几代基础模型。Gartner 预测，到 2028 年，至少 15% 的日常工作决策将由智能体 AI 自主做出，而 2024 年这一比例为 0%。

然而，尽管 AI 智能体可以提高效率、节省成本，并释放 IT 人员以专注于更需要人类推理的关键项目，但它们并非没有挑战。在部署智能体 AI 之前，企业应准备好解决若干问题，否则这些问题可能会影响系统与输出的可信度和安全性。

模型逻辑与批判性思维

在智能体 AI 中，一个智能体充当“规划者”，并编排多个智能体的行动。模型提供“批判性思考者”功能，对规划者以及执行这些指令的不同智能体的输出提供反馈。产生的反馈越多，模型获得的洞察就越多，输出也会越好。

要让这一点良好运作，批判性思考者模型需要基于尽可能贴近现实的数据进行训练。换句话说，我们需要向它提供大量关于特定目标、计划、行动和结果的信息，并提供大量反馈。这可能需要许多次迭代——运行数百甚至数千个计划和结果——直到模型拥有足够的数据来开始充当批判性思考者。

可靠性与可预测性

如今我们与计算机交互的方式是可预测的。例如，当我们构建软件系统时，工程师坐下来编写代码，逐步告诉计算机该做什么。而在智能体 AI 流程中，我们不会逐步告诉智能体该做什么。相反，我们以想要达成的结果为导向，由智能体决定如何实现这一目标。软件智能体具有一定程度的自主性，这意味着输出中可能存在一定的随机性。

当 ChatGPT 和其他基于大语言模型的生成式 AI 系统首次亮相时，我们也看到了类似的问题。但在过去两年中，得益于微调、人类反馈循环以及对模型持续的训练和优化，生成式 AI 输出的一致性已经有了显著改善。我们需要投入类似程度的努力，通过让智能体 AI 系统更加可预测和可靠，来最大限度地减少其随机性。

数据隐私与安全

一些公司由于隐私和安全方面的顾虑而对使用智能体 AI 犹豫不决，这些顾虑与生成式 AI 类似，但可能更加令人担忧。例如，当用户与大语言模型交互时，提供给模型的每一条信息都会被嵌入到该模型中。没有办法回头要求它“忘记”那些信息。某些类型的安全攻击，如提示注入，正是利用了这一点，试图让模型泄露专有信息。由于软件智能体能够以高度自主性访问许多不同的系统，因此它从更多来源暴露私有数据的风险也随之增加。

为了解决这个问题，公司需要从小处着手，尽可能对数据进行容器化，确保数据不会暴露到需要它的内部域之外。同样关键的是对数据进行匿名化处理，在将提示发送给模型之前，模糊用户身份并剥离任何个人可识别信息（如社会安全号码或地址）。

从高层来看，我们可以审视三种不同类型的智能体 AI 系统及其各自对业务使用的安全影响：

• 消费者智能体 AI——通常是内部用户界面搭配外部 AI 模型。作为公司，我们对 AI 本身没有任何控制权，只能控制我们发送的数据和提示。

• 员工智能体 AI——在内部构建供内部使用。虽然风险较小，但仍存在将高度私密信息暴露给公司内不合格用户的风险。例如，公司可以决定构建自己的类 GPT 体验，仅供内部使用。

• 面向客户的智能体 AI——由企业构建以服务其客户。由于与客户交互和协作存在一定风险，系统必须具备良好的隔离机制，以避免暴露客户的私有数据。

数据质量与相关性

一旦数据和用户都经过了匿名化处理，我们希望智能体模型能够基于与用户提示相关的高质量数据来交付结果。这将是一个重大挑战。生成式 AI 模型常常因为与最准确、最新的数据脱节而无法交付预期结果。智能体 AI 系统面临额外的问题，因为它们需要跨各种不同的平台和来源访问数据。

数据流平台（DSP）在这里可以发挥作用，因为它为工程师提供了使用高质量数据来生成相关答案的工具。例如，开发者可以使用 Apache Kafka ® 和 Kafka Connect 从不同来源引入数据，并使用 Apache Flink ® 与其他模型通信。智能体 AI 系统只有基于可靠、新鲜的数据，才能成功克服幻觉并生成正确的响应。

投资回报率与人才

AI 对许多公司来说仍是新领域，需要它们购买新的硬件和 GPU，并创建新的数据基础设施，特别是用于缓存以及短期和长期存储的新内存管理。它还需要在内部构建推理模型。要做到这一点，他们需要招聘具备这些专业技能的新人才，或对现有员工进行 AI 培训。投资回报（ROI）需要时间，尤其是对早期采用者而言。

尽管存在这些障碍，智能体 AI 将像生成式 AI 一样在企业中普及。我们已经看到一些 AI 技术供应商朝这个方向迈进。例如，Microsoft Copilot 已从简单地自动化某些代码流程，演变为以智能体方式编写和测试代码。

在企业从智能体 AI 中获益之前，他们需要准备好解决可靠性、数据隐私与质量以及模型逻辑等问题。他们还需要准备好进行大量的前期投资。然而，对业务的潜在影响可能远大于他们仅从生成式 AI 中看到的效果。

Apache®、Apache Kafka®、Kafka®、Apache Flink® 和 Flink® 是 Apache Software Foundation 的商标。

本博客最初于 2025 年 1 月 7 日发布于 InfoWorld

• Adi 是 Confluent 的 Advocacy 与 DevX 工程总监。她专注于数据流、分析以及新一代 AI 系统。你可以在各种社交媒体平台上通过 @adipolak 找到她。

  
  

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Confluent Blog

原创地址：https://www.confluent.io/blog/agentic-ai-the-top-5-challenges-and-how-to-overcome-them/