编者按： 面对市面上琳琅满目的开源工具，我们往往迷失在选择的焦虑中 —— 哪些工具真正经得起生产环境的考验？哪些只是看起来很酷的演示项目？更重要的是，如何避免把宝贵的开发时间浪费在那些半成品工具上？

我们今天为大家带来的文章，作者的观点是：构建可靠的 AI 智能体需要的不是最新最炫的工具，而是经过实战检验、务实可靠的开源技术栈。

本文作者系统梳理出一套经过实战检验的开源技术栈，涵盖智能体开发的九个核心领域：从用于构建和编排智能体的框架 ，到计算机与浏览器操控、语音交互、文档理解、记忆机制等功能模块；从测试评估到监控部署的全流程工具链；最后还包括仿真环境和垂直领域的专用智能体。

作者 | Paolo Perrone

编译 | 岳扬

还记得在某个周末，我坐下来，坚信自己终于能构建一个像样的研究助手智能体原型了。不需要多么高大上 —— 只要它能读取 PDF、提取关键信息、也许还能回答几个后续问题就行。本该很简单对吧？

结果，我花了整整两天时间，在文档不全的代码仓库、沉寂的 GitHub issues 和模糊不清的博客文章间反复折腾。有个工具看起来很靠谱，直到我发现它已经八个月没更新了。另一个工具需要启动四个不同的服务，仅仅是为了解析一份文档。最终，我的“智能体”连文件名都几乎读不出来，更别提内容了。

但支撑我做下去的不是挫败感 —— 而是好奇。我想知道：真正的智能体开发者究竟在用哪些工具？不是那些创投圈热捧的明星项目，而是那些你会默默安装、保留在你的技术栈中、并真心信赖的工具。那些不需要三页 Notion 文档来解释的工具。

这次探索让我发现了一套出乎意料扎实的开源库 —— 这些工具轻量、可靠，且专为开发者而打造。

所以，如果你还在为智能体跑不通而焦头烂额，本文就是为你准备的。

01 那么，你准备好构建 AI 智能体了吗？

你可能会问：

• 人们用什么来构建语音智能体？
• 解析文档的最佳开源工具是什么？
• 如何在不把向量数据库（vector DB）像万 能胶一样到处粘贴的情况下给我的智能体添加记忆功能？

本指南并未试图覆盖市面上所有工具 —— 这是我有意为之。这是一份经过筛选的工具清单，是我真正使用过、保留在我的技术栈中、并在构建智能体原型时会反复使用的工具。不是那些在演示中看起来很酷或在每个炒作帖子里出现的工具，而是那些能帮助我从“想法（idea）”推进到“能工作的东西（working thing）”、而不会让人迷失方向的工具。

以下是按类别划分的技术栈：

1）用于构建和编排智能体的框架（Frameworks for Building and Orchestrating Agents）

如果你是从零开始构建智能体，可以从这里开始。这些工具能够帮助你结构化智能体的逻辑 —— 做什么、何时做以及如何处理工具。可以将其视为将原始语言模型转变为更自主的智能体的核心大脑。

2）计算机与浏览器操控（Computer and Browser Use）

一旦你的智能体能制定计划，它就需要执行操作。这一类工具能让你的智能体点击按钮、在数据字段中键入内容、抓取数据、以及像人类一样操作应用程序或网站。

3）语音功能（Voice）

如果你的智能体需要说话或聆听，这些工具负责处理音频部分 —— 将语音转为文本（speech to text），再将文本转回语音（text to speech）。适用于免提场景或语音优先型智能体（voice-first agents）。有些工具甚至能很好地处理实时对话。

4）文档理解（Document Understanding）

大量现实世界的数据存在于 PDF、扫描文件或其他杂乱格式中。这些工具能够帮助你的智能体读取和理解这些内容 —— 无论是发票、合同还是基于图像的文件。

5）记忆（Memory）

要实现持续学习的能力，你的智能体就需要记忆功能。这些工具库能帮助智能体记住刚刚发生了什么、你之前告诉过它什么，甚至能随时间的推移构建长期用户画像。

6）测试与评估（Testing and Evaluation）

系统总会出故障。这些工具可以帮助你在系统上线前发现问题 —— 通过预设用户操作路径、模拟交互，并检查智能体的行为是否符合预期。

7）监控与可观测性（Monitoring and Observability）

当智能体正式上线后，你需要知道它在做什么以及表现如何。这些工具能够帮助你跟踪使用情况、调试出现的问题并分析成本或延迟影响。

8）仿真环境（Simulation）

在将智能体投入真实场景前，需要先在安全的沙箱世界中测试它。仿真环境让你能在受控条件中进行实验、优化决策逻辑并发现边界案例。

9）垂直领域智能体（Vertical Agents）

并非所有东西都需要从零构建。这些是为特定工作（如编程、研究或客户支持）打造的预置智能体。你可以直接使用它们，或根据你的工作流进行定制。

02 用于构建和编排智能体的框架  (Frameworks for Building and Orchestrating Agents)

要打造真正能解决问题的智能体，你需要一个扎实的底层架构 —— 它必须能驾驭工作流、记忆机制和工具协同，而不是沦为一堆东拼西凑的脚本代码。这些框架为你的智能体提供了所需的结构，使其能够准确理解目标、制定可行方案并执行到底。

• CrewAI — 协调多个协同工作的智能体。非常适合需要协调和基于角色行为的任务。
• Agno — 专注于记忆机制、工具使用和长期交互。对于需要记忆能力和适应能力的 AI 助手来说非常理想。
• Camel — 专为多智能体协同、仿真推演和任务分工场景打造。
• AutoGPT — 通过“规划-执行”闭环实现复杂工作流的自动化运行。最适合需要独立运行的智能体。
• AutoGen — 让智能体之间进行协作，共同解决复杂问题。
• SuperAGI — 简化的设置，用于快速构建和部署自主智能体（autonomous agents）。
• Superagent — 一个灵活的开源工具包，用于创建自定义 AI 助手。
• LangChain & LlamaIndex — 用于智能记忆管理、高效检索和工具链整合的首选工具。

03 计算机与浏览器操控（Computer and Browser Use）

当你的智能体能推理、思考后，下一步就是让它能采取行动。这意味着智能体要像人类一样与计算机或网络进行交互 —— 点击按钮、填写表单、浏览页面并执行命令。这些工具在推理（reasoning）与行动（action）之间架起了一座桥梁，让智能体能在现实场景中运作。

• Open Interpreter — 将自然语言翻译成能在你机器上执行的代码。想移动文件或运行脚本？描述需求即可。
• Self-Operating Computer — 让智能体完全控制你的桌面环境，使其能像真人一样与操作系统（OS）进行交互。
• Agent-S — 这是一个灵活的框架，允许 AI 智能体像真实用户那样操作各类应用程序（apps）、工具（tools）和交互界面（interfaces）。
• LaVague — 使网页智能体（web agents）能够实时浏览网站、填写表单并做出决策，是实现浏览器任务自动化的理想选择。
• Playwright — 跨浏览器自动化网页操作。适合测试或模拟用户流程。
• Puppeteer — 控制 Chrome 或 Firefox 的可靠工具。非常适用于数据抓取和前端行为自动化。

04 语音功能（Voice）

语音是人类与 AI 智能体交互最直观的方式之一。这些工具处理语音识别（speech recognition）、语音合成（voice synthesis）及实时交互（real-time interactions） —— 让你的智能体更具“人性化”。

4.1 语音对话（Speech2speech）

• Ultravox — 顶 级的语音对话模型，可流畅处理实时语音对话。响应迅速灵敏。
• Moshi — 语音对话任务的另一个强劲选择。在实时语音交互方面表现可靠，但 Ultravox 在性能上更胜一筹。
• Pipecat — 用于构建语音交互智能体的全栈框架。支持语音转文本、文本转语音，甚至基于视频的交互（video-based interactions）。

4.2 语音识别（Speech2text）

• Whisper — OpenAI 的语音转文本模型 —— 适用于跨多语言的转录和语音识别。
• Stable-ts — 针对 Whisper 的、对开发者更友好的封装工具。添加了时间戳和实时支持，非常适合对话型智能体。
• Speaker Diarization 3.1 — Pyannote 的说话人分离模型。对多人对话及会议类音频等场景至关重要。

4.3 语音合成（Text2speech）

• ChatTTS — 目前我发现的最佳模型。速度快、稳定，满足大多数生产需求。
• ElevenLabs（商业版 / Commercial）  — 当音质要求高于开源产品时，这是首选方案。提供高度自然的拟真语音，并支持多种风格。
• Cartesia（商业版 / Commercial）  — 如果你追求超越开源模型表现的高清语音合成，这是另一个强有力的商业选项。

4.4 实用工具（Miscellaneous Tools）

• Vocode — 用于构建语音驱动的大语言模型智能体的工具包。轻松连接语音输入/输出与语言模型。
• Voice Lab — 用于测试和评估语音智能体的框架。可调试优化提示词、语音角色（voice persona）或模型配置（model setup）。

05 文档理解（Document Understanding）

大部分有价值的业务数据仍以非结构化格式存在 —— PDF文件、扫描文件、基于图像的报表。这些工具能够帮助你的智能体读取、提取并理解这些复杂内容，而无需依赖脆弱的 OCR 处理流程。

• Qwen2-VL — 阿里巴巴推出的强大视觉语言模型。在处理混合图像与文本的文档任务时，表现优于 GPT-4 和 Claude 3.5 Sonnet，非常适合处理复杂的实际业务格式。
• DocOwl2 — 为文档理解场景打造的轻量级多模态模型，无需依赖 OCR。快速高效，且在从杂乱的输入中提取内容结构和语义时准确度惊人。

06 记忆（Memory）

没有记忆机制的智能体会陷入一种将每次交互都视为初次接触的循环。这些工具赋予它们回忆过往对话、追踪用户偏好和建立持续交互记忆的能力。正是这种能力，让一次性的助手逐步进化为持续增值的智能伙伴。

• Mem0 — 可自我迭代的记忆层，让智能体能够适配先前的交互。非常适合构建更个性化、持久化的 AI 体验。
• Letta（前身为 MemGPT）  — 为 LLM 智能体增加长期记忆和工具使用能力。可视为智能体的核心支架，使其具备记忆、推理和进化的能力。
• LangChain — 包含即插即用的记忆组件，用于追踪对话历史和用户上下文 —— 在构建需跨多轮对话保持连续性的智能体时非常实用。

07 测试与评估（Testing and Evaluation）

当你的智能体不再仅限于聊天，而是开始浏览网页、做出决策、发出语音时，你需要预判它在边界情况中的表现。这些工具可帮助你测试智能体在不同场景下的行为、及早发现 bug，并定位系统故障点。

• Voice Lab — 测试语音智能体的综合框架，确保语音识别和响应准确且自然。
• AgentOps — 用于追踪和通过基准测试测试 AI 智能体的工具集，帮助你在问题影响用户之前发现隐患并优化性能。
• AgentBench — 评估 LLM 智能体的基准测试工具，覆盖从网页浏览到游戏等多种任务场景，确保通用性与有效性。

08 监控与可观测性（Monitoring and Observability）

要确保 AI 智能体大规模地部署运行时能够流畅高效地工作，你需要对它们的性能与资源消耗进行监控。这些工具提供的关键可观测性数据，能够助你监控智能体行为、优化资源，并在问题波及用户前及时拦截。

• openllmetry — 基于 OpenTelemetry 为 LLM 应用提供端到端的可观测性，清晰展示性能表现，并帮助你快速排查故障和优化系统。
• AgentOps — 一款全面的监控工具，能够追踪智能体性能、成本开支及基准测试数据，确保其高效运行且成本可控。

09 仿真环境（Simulation）

在部署前模拟真实环境具有突破性意义。这些工具让你能创建受控的虚拟空间，使智能体在其中互动、学习并做出决策，而无需承担在实际环境中可能产生的意外后果。

• AgentVerse — 支持在多种应用程序和模拟环境中部署基于 LLM 的多智能体，确保其在各种环境下都能有效运作。
• Tau-Bench — 评估智能体在特定行业（如零售业/航空业）中用户交互表现的基准测试工具，确保专业领域任务的流畅执行。
• ChatArena — 一个多智能体语言游戏环境，智能体在其中交互协作，适合在安全受控空间内研究智能体的行为模式并优化沟通模式。
• AI Town — AI 角色进行社交互动、决策测试和现实场景模拟的虚拟环境，帮助精细化调优智能体行为。
• Generative Agents — 斯坦福的智能体项目，专注于模拟人类复杂行为，非常适合在社交语境中测试记忆与决策能力。

10 垂直领域智能体（Vertical Agents）

垂直领域智能体是解决特定行业问题或优化专业任务的专用工具。尽管这类工具的生态系统正在不断发展，但还是分享我个人使用过并认为特别有用的几款工具：

10.1 编程开发（Coding）

• OpenHands — 基于 AI 的软件开发平台，可自动化编程任务并加速开发流程。
• aider — 可直接集成到终端的结对编程工具（pair programming tool），提供直接嵌入编程环境的 AI 协作编程。
• GPT Engineer — 用自然语言构建应用程序；用户只需描述需求，AI 将解析用户意图并生成代码。
• screenshot-to-code — 将设计图转换为采用 HTML/Tailwind/React/Vue 的完整网站，快速实现设计稿转代码。

10.2 学术研究（Research）

• GPT Researcher — 一款能够进行全面研究、分析数据并撰写报告的自主智能体（autonomous agent），能够简化研究流程。

10.3 数据库交互（SQL）

• Vanna — 使用自然语言查询与 SQL 数据库交互。无需编写复杂的 SQL 命令，提问即可获取数据。

11 总结（Conclusion）

回顾我早期构建研究助手时的尝试，我意识到自己当初把问题复杂化了。那个项目最终是一团糟 —— 充斥着过时的代码、半成品的工具，以及连 PDF 这种简单文件都处理得力不从心的系统。

但正是在这次失败中我收获最多。

关键不在于寻找最完美的工具，而在于坚持有效的方案并保持简单。那次教训让我明白： 构建最可靠的智能体，凭的是务实、直接的技术栈，而非追逐每一款花哨的新工具。

成功的智能体开发无需重复造轮子。

核心在于选择适合目标任务的工具、有条不紊地整合它们，并持续不断地优化智能体原型。 无论你是要自动化工作流程、构建语音智能体，还是解析文档，一套精心挑选的技术栈都能让流程更流畅高效。

因此，立即行动，大胆尝试，让好奇心引领你前行。技术生态系统正在不断演进，可能性是无穷无尽的。

应原作者要求，在此放置 Substack 订阅链接和宣传语：

作为科技内容从业者，还在为粉丝增长发愁？

《The Tech Audience Accelerator》正是为你量身打造的必备指南 —— 专为认真扩大受众群体的科技创作者而生。

这里浓缩了我实现 3000万+ 曝光量（且持续攀升）的实战方法论、即用模板与高效策略，

所有干货，皆经市场验证。

https://techaudienceaccelerator.substack.com/

END

本期互动内容 🍻

❓分享一次你构建 AI 智能体时最让你血压飙升的工具使用踩坑经历！🫠 是文档失踪？还是兼容性噩梦？

本文经原作者授权，由 Baihai IDP 编译。如需转载译文，请联系获取授权。

原文链接：

https://decodingml.substack.com/p/the-open-source-stack-for-ai-agents