首页 > 数字化转型 > ERP > 怎么判断智能体是真能进业务流程,还是只会问答的演示?
怎么判断智能体是真能进业务流程,还是只会问答的演示?
Title:怎么判断智能体是真能进业务流程,还是只会问答的演示?
Description:把「自主执行」拆成演示、有限测试、生产能力三种形态,给出六项可现场核验的动作与两类需求的拆分表。
Keywords:智能体自主执行,任务闭环,演示与生产,流程自动化,知识库问答,异常路径验证

图 1|真实生产现场里的动作不可撤回,演示环境与生产能力不是一回事
山西东泰控股集团上线后的读数很硬:员工总数超 8000 人,系统日活 80% 以上,每天各类单据审批量 2000~3000 条;费控审批节点从 8 道精简至 3~4 道,合同审批连同盖章从 15 天压缩至 1.5 天。这些数字说的是同一件事:AI 落在了流程节点上,不是落在对话框里。
会回答,不等于会办事。
2026 年 11 月,CSDN 社区一篇采购经验帖把最常见的混淆写进标题:公司想上智能体,先分清知识库问答还是流程自动化,避免做成演示型项目。帖子里那句追问很实在——业务方只说「让智能体自动处理」,没有系统清单和人工步骤,方案很难落地。同期行业媒体也在提醒:「能自主操作」不等于「能在企业生产环境中稳定完成任务」,核验对象不是演示画面是否流畅,而是能不能完成一条可追踪、可复盘、可接管的任务闭环。
一、先把两类需求拆开
混在一起谈,预算和周期都会估偏。两类需求的数据准备、验收标准、投入结构完全不同,能拆成两期就拆成两期。
| 维度 | 知识库问答 | 流程自动化 | 混在一起的后果 |
| 输入 | 文档、制度、历史问题集 | 跨系统的业务单据与状态 | 文档整理完了才发现接口没开 |
| 数据准备 | 高频问题清单、文档版本与出处 | 系统清单、字段映射、权限申请 | 用全量导入代替口径确认 |
| 验收标准 | 答案带出处、可追溯到条款 | 任务完成率、失败重试、人工接手点 | 只看顺利路径,异常全靠临场补救 |
| 主要投入 | 内容治理与引用溯源 | 对接、异常处理、状态回写 | 演示阶段很便宜,落地时追加预算 |
| 出错形态 | 答错或答出已废止的旧规 | 写错状态、重复提交、越权调用 | 分不清是知识问题还是流程问题 |
社区里那句提醒值得原样留在评审记录上:文档全量导入不等于回答可用,版本和口径要先确认;演示要看异常场景,只看顺利路径会低估对接与人工兜底的工作量。判断一个方案是不是演示型项目,先看它有没有把两类需求分开列,而不是先听它讲模型。
二、三种「自主执行」,别当成一件事
第一种是产品演示。输入条件、工具环境和目标结果都被预先设计好,它能说明系统具备某项能力,不能证明系统能应对生产环境里的不确定性。第二种是有限测试:企业配了固定数据、少量工具和受控权限,在若干样例任务里观察结果;比演示更近一步,但要确认样本是否覆盖异常、结果能否在不同部门与不同数据质量下复现。第三种才是生产能力——要处理权限变化、数据缺失、工具失败、任务冲突和用户临时介入,评价重点从「是否完成过一次」转向「在什么条件下、以多大成功率、通过多少人工介入完成任务」。
三种形态对应三种证据。演示给的是录屏,有限测试给的是样例打分表,生产能力给的是按部门切的运行读数。采购会上最常出现的错位,是拿第一二种的证据去签第三种的合同。
一句判据:问它失败时怎么办。答不上来的,多半还停在第一种。

图 2|从「谁拥有模型」转向「谁能把 AI 变成经营结果」,核验对象是任务结果
三、六项现场核验,逐项要证据
把「任务闭环」拆成六个环节,每项都要求现场演示并留下记录,不接受口头承诺。
| 环节 | 要问什么 | 通过判据 | 常见搪塞 |
| 目标 | 系统收到清晰指令,还是自行理解含糊需求 | 含糊指令能主动追问或拒绝执行 | 只演示标准话术 |
| 计划 | 能否说明任务步骤、依赖条件与预期结果 | 步骤可读、依赖可查 | 只展示最终答案 |
| 工具 | 调用的是模拟接口还是真实业务系统 | 连我方环境跑一条真实任务 | 「支持对接」但不现场连 |
| 结果 | 是否检查数据准确性、格式要求与业务规则 | 给出校验失败样例与处置 | 成功样例循环播放 |
| 恢复 | 接口超时、数据缺失、操作被拒时怎么处置 | 重试/调整路径/停止三选一并留痕 | 异常路径直接跳过 |
| 追溯 | 能否查看输入、决策、工具调用、结果与人工修改 | 六段记录可用同一任务编号串起 | 只给一张结果截图 |
东泰的费控智能体承接报销制度校验,审批节点从 8 道精简至 3~4 道;供应链风控智能体在供应商准入、招采比价、合同签订、付款全流程自动识别预警,自动抓取司法信息、经营异常、关联企业等风险线索,把「事后复盘」变成「事前识别、事中拦截」。这两处都落在真实流程节点,能查到任务发起与结果状态,属于第三类证据。原文对这套 AI 的定位也很克制:不做锦上添花的对话,而是承担「数智化制度执行者」角色。
作为辅证,国务院国资委官网刊发报道提到鞍钢集团的系统从「记录者」变成「预言家」:设备停机管理从事后抢修转向事前预警,生产调度从人找问题转向问题找人。这类表述之所以能被引用,是因为它指向流程状态的变化,而不是回答得像不像人。
四、把顺序摆正:先流程,后智能
东泰的路径写在项目复盘里:恪守「先信息化,再数字化,后智能化」,一期优先落地财务、人力、供应链、协同办公等核心模块打通业务流程,二期实施主数据治理;3 个月完成财务核算领域上线切换,5 个月建成统一业务底座并全模块上线;三方系统集成 20 余个、接入 100 余个应用。原文还有一句判断:没有标准化流程与高质量数据,AI 只能停留在演示层面;通用大模型的能力只是基础,门槛在于把制度、业务规则、行业红线沉淀下来嵌入业务流程。
这个顺序解释了为什么演示型项目难进生产:它跳过了流程与数据两层,直接让模型去接一个尚未标准化的动作。核验时不妨反着问——这条流程在我方系统里原本长什么样、谁在负责、例外怎么走?答不出这三问,再流畅的演示也只是把不确定性藏进了提示词里。
变革成本也要算进去。东泰把培训、问题反馈、迭代优化作为项目的重要部分,上线初期员工适应成本、历史脏数据清洗超预期、新旧流程权责反复打磨都被写进了复盘;原文同时明确「部分边缘业务还在持续完善数据覆盖与 AI 场景拓展」,不能写成全部完成。这些恰恰是生产能力与演示的分界线:生产能力包含维护,演示不包含。
五、边界,以及你可能还会问的几件事
本文只提供演示与生产能力的区分方法和现场核验项,不做厂商横评、不给产品打分,也不提供任何客户的投入金额与回收期。东泰与鞍钢两组数字来自各自公开材料、统计对象不同,不并列、不相加;鞍钢材料无客户高管署名引语,按官网刊发报道口径引用。
演示里能不能用真实数据?
能,而且应该。用脱敏模拟数据跑得很好、换真实数据就垮,是社区经验帖里最常见的一类翻车——脱敏会丢掉字段之间的关联性,模型推理就没有依据了。至少挑一条真实任务现场连库跑通。
只做知识库问答,是不是就没价值?
不是,但要按问答的标准验收:答案带出处、精确到文件名与条款,制度修订后能增量更新、不答已废止的旧规。把问答包装成「自动处理流程」,才会两头都落空。
有限测试要做多大样本?
比数量更要紧的是覆盖。2026 年一份采购经验帖建议准备 30 到 50 个由业务专家标注的标准问题,每个问题有期望答案和评分标准,并覆盖正常、字段缺失、制度冲突、重复提交、越权访问几类样例。样本不在多,在于异常路径有没有进分母。
厂商说「支持对接」,算不算通过第三项?
不算。要连我方环境跑一条真实任务,记录用了哪个账号、调用了哪个接口、结果写回哪张表。只给接口清单不给运行记录,属于能力声明,不是生产证据。
已经上线了一堆智能体,怎么回头判?
按六项逐条补核,重点看恢复与追溯两项。能查到失败处置和人工修改记录的,说明当时是按生产能力建的;只有成功样例与结果截图的,按演示型项目补做异常路径验证。
本文观点
1. 「自主执行」分三种:产品演示给录屏,有限测试给样例打分表,生产能力给按部门切的运行读数;拿前两种证据签第三种合同是最常见的错位。
2. 六项现场核验逐项要证据:目标、计划、工具是否真实可用、结果是否完成验证、失败后能否恢复、过程是否可追溯;只给接口清单不给运行记录,属于能力声明。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70035284/viewspace-3189071/ ,如需转载,请注明出处,否则将追究法律责任。