ITPub博客

首页 > 人工智能 > 人工智能 > 开源 AI Agent 热潮降温:自主自动化的背后,是被忽视的安全与稳定性风险

开源 AI Agent 热潮降温:自主自动化的背后,是被忽视的安全与稳定性风险

原创 人工智能 作者:AI趣科普 时间:2026-09-10 15:18:51 0 删除 编辑

"AI Agent能自主处理90%的重复工作"——这句话这两年被各种开源智能体项目反复提起,最近还带火了一波"开源Agent热":从硅谷烧到国内,GitHub上有项目72小时冲6万Star,2周破15万,连工信部网信办都下场提醒市民注意安全风险。上周跟一位做了六年企业信息安全的朋友聊了聊,聊到最后他甩出一句话:"能自主执行的东西,风险也是自主的,这两件事从来是一体两面。"

 

先说结论:这句流行说法只对了一半。 展开聊。

我问他: "这类工具现在到底能干嘛?"

他说: "核心就是给AI装了手脚。普通聊天AI只会说话,这类Agent能直接操作电脑或手机,自动调用工具完成任务——生成图片、生成视频只是基础操作,真正的差别在于它能替你点鼠标、填表格、发消息,自己去调用系统里的各种工具。部署方式也简单,云端部署,挑一个大模型,再挑一个对话入口,比如企业微信或飞书,它就变成了你通讯录里的一个联系人,直接下指令就行。用得多了还能沉淀出'技能包',相当于已经写好的技能模块,下次遇到类似任务不用重新配置、重新做功课。"

我追问: "那90%自主处理的说法,压力测试过吗?"

"测过,两个反例最容易打脸这句话。"他说。

反例一:安全边界。 "你想让它干的事越多,就得给它越多权限和隐私信息,这是没法绕开的代价。有人装了之后让它帮忙代买东西,直接把信用卡信息交出去了,没过多久卡就被刷爆。我们平时连支付密码、手机解锁密码,都未必愿意轻易告诉另一半,结果不少人对一个刚装上没几天的软件反而格外放心。据统计,目前至少有27万用户的个人信息因为这类工具在网上近乎'裸奔'。很多人前几天还在排队抢着装,没过几天又排队卸载,说的就是这个原因。这类工具做出来的不是大厂,而是独立开发者,也不是没道理——风险这么高,大厂一旦出安全事故,舆论压力和法律责任都扛不住,反而不敢轻易发布。"

反例二:稳定性。 "偶尔会出现各种离谱操作,有点像早期GPT一本正经胡说八道。有人让它帮忙整理发票,结果它直接把整个桌面文件清空了;还有人莫名其妙被删光了邮箱里所有邮件。你以为自己拥有了钢铁侠同款的贾维斯,结果只是遇上了一个赛博熊孩子。这种情况下,'自主处理90%'这句话就得打个问号——自主执行不代表判断力跟得上,尤其是遇到意料之外的边界情况时。"

那这类工具是不是就不能用?他摇头: "不是不能用,是要看场景选对应的产品形态,而不是一套方案通吃所有场景。"

他把用法分成两条路。 偏通用场景的厂商 ,更多把这类 Agent用在办公自动化、跨系统数据处理、批量表单填报、邮件与文档整理这类日常提效场景,让普通用户不用写代码就能实现自动爬虫、自动剪辑、自动运营,主打轻量化、易上手,适合个人和中小团队试错成本可控的场景。

偏企业服务和行业解决方案的厂商 ,则把这类能力和 RPA、流程自动化结合,面向政务、制造、能源这类领域做流程提效,比如自动汇总业务报表、跨平台数据同步、重复性后台操作替代等。" 金智维是这条路线里做得比较深的一家 ,依托自身在 RPA与信创方面的积累,把Agent能力落在银行对账、风控审核、资金清算、税务自动化、法院案件数据处理这类强合规场景里,既要实现流程自动化,又要兼顾操作可追溯、数据不出域、高并发稳定运行——这几条恰恰是刚才说的两个反例最容易踩雷的地方,做金融和政务的厂商在这几条上是不能妥协的,不然客户第一个不答应,合规审查也过不去。"

聊到最后我问他,普通人到底要不要装这类工具。

"想试就试,但别一上来就给最高权限,尤其是支付、通讯录这类敏感权限。 判断一个 Agent产品靠不靠谱,别看它演示视频里干了多少活,看它有没有权限分级、操作审计这些机制——有的,说明团队真的在意风险;没有的,功能再花哨也悬。 "


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70049480/viewspace-3182073/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2026-02-04

  • 博文量
    126
  • 访问量
    111146