ITPub博客

首页 > 人工智能 > 人工智能 > 当 AI 学会“看路”:从 ISO 42001 认证到智能体的网络安全自觉

当 AI 学会“看路”:从 ISO 42001 认证到智能体的网络安全自觉

人工智能 作者:lumin1020 时间:2026-09-17 14:44:26 0 删除 编辑

导语:一边是 Anthropic 拿下 ISO/IEC 42001:2023 认证,为 AI 治理提供独立验证;一边是 Cisco Talos 用 LangChain 和 Umbrella API 教 AI 智能体识别恶意域名。当自主智能体开始替人类“点击链接”,安全与责任正在从模型内部延伸到整个网络交互链路。

一、AI 治理有了国际标准:Anthropic 获 ISO 42001 认证

Anthropic 近日宣布,其人工智能管理体系已获得新版 ISO/IEC 42001:2023 标准认证。这是首个概述人工智能治理要求的国际标准,目标是确保 AI 系统以负责任的方式开发和利用。

Anthropic 在官方博客中表示,这一认证提供了独立验证,证明其已实施一套全面框架,用于识别、评估和缓解与 AI 系统相关的潜在风险。关键要素包括:

  • 政策与流程:确保 AI 系统以合乎伦理、安全和可问责的方式设计、开发和部署;
  • 测试与监控:通过严格测试验证系统按预期运行,并主动应对潜在负面影响;
  • 透明度措施:向用户和利益相关者提供适当信息;
  • 角色与监督:明确职责、责任和监督机制,维护负责任的实践。

Anthropic 称,自己很自豪能成为首批获得该认证的前沿 AI 实验室之一,并希望这能为合作伙伴和公众提供进一步保证。该认证由 Schellman Compliance, LLC 颁发,该机构是经 ANSI National Accreditation Board 认可的 ISO 认证机构。

值得注意的是,ISO 42001 认证并非孤立动作,而是建立在 Anthropic 已有的治理工作之上,包括公开发布并近期更新的《负责任扩展政策》治理框架、部署 Constitutional AI 以帮助模型与人类价值观保持一致,以及对 AI 安全性和鲁棒性的积极研究。

除 ISO 42001 之外,Anthropic 还做出一系列额外自愿承诺,覆盖风险评估与缓解、安全和隐私保障以及公众意识提升等关键领域。相关 ISO 认证信息现已在其 Trust Center 上提供,包括已颁发的证书、标准概述、具体要求,以及它如何强化对负责任 AI 开发的承诺。

配图建议:Anthropic 官方博客中使用的 ISO 42001 认证配图,可由编辑从原文页面获取并上传。

二、以人为本的 AI:可信、可靠、安全

在 Stanford HAI 的一场活动介绍中,提出了一个更偏产品与体验视角的判断:下一代用户体验将使人类能力提升 1000 倍。这些新工具将放大、增强、提升并赋能人类,正如 Web、电子邮件、搜索、导航、数字摄影以及许多其他应用已经做到的那样。

该观点强调,新工具不会把重点放在将自主机器和人形机器人作为团队伙伴,而是会产出可理解、可预测、可控制的应用程序,从而大规模促进自我效能、人类责任和社会参与。目标是确保人类控制,同时提高自动化水平。

这一表述与 Anthropic 的治理路径形成呼应:一边是标准与认证层面的制度约束,一边是产品设计层面的可控性与可理解性。两者共同指向同一个问题——当 AI 能力持续增强,人类如何保持对系统的有效控制。

三、机器人会梦见安全网络吗?教 AI 智能体做网络卫生决策

如果说 ISO 42001 解决的是“组织如何治理 AI”,那么 Cisco Talos 的这篇博客解决的是更具体的问题:当 AI 智能体自己上网时,它怎么判断一个链接能不能点?

文章开篇引用了菲利普·K·迪克 20 世纪 60 年代末的科幻小说《仿生人会梦见电子羊吗?》。作者借此提出:随着生成式 AI 让自主智能体能够代表人类进行推理和行动,我们必须考虑要为智能体 AI 配备哪些人类特质和知识,使其能够自主、合理且安全地行动。

其中一项关键技能,就是在浏览互联网时保持安全。如果智能体 AI 系统以与人类互联网用户相同的方式与网站和 API 交互,它们需要意识到:并非所有网站或公共 API 都是可信的,用户提供的输入也不可信。因此,必须赋予 AI 智能体做出适当网络卫生决策的能力。在智能体世界中,由自主智能体来决定“点击链接”是否安全和适当。

威胁形势不断变化,因此无法教授 AI 系统关于“什么是安全链接、什么不是安全链接”的硬性规则。AI 智能体必须实时验证链接的处置情况,以确定某些内容是否恶意。

概念验证:LangChain + OpenAI + Cisco Umbrella API

Cisco Talos 展示了一个概念验证,使用 LangChain 与 OpenAI 结合,让 AI 智能体通过 Cisco Umbrella API 访问实时威胁情报,以评估域名处置情况。

实现该示例需要 Cisco Umbrella 的 API 密钥和付费 OpenAI 账户。具体步骤包括:

  1. 从有可用余额的 OpenAI 账户获取新的 API 密钥。免费、未充值的账户密钥将无法使用。
  2. 按照 Cisco Umbrella 的步骤获取 API Key 和 Secret,并为 Key Scope 勾选“Investigate”框。
  3. 将密钥保存为名为 OPENAI_API_KEY、UMBRELLA_KEY 和 UMBRELLA_SECRET 的 shell 环境变量。

完整示例代码可在 Talos 的 GitHub 仓库中找到。博客中逐步展示了关键代码片段,包括:

  • 向 AI 智能体描述工具,并将新描述的工具包含在可用工具列表中;
  • 创建 LLM 实例,示例使用 OpenAI 的 GPT-3.5-Turbo,但也支持其他 LLM 模型;
  • 以 Question、Thought、Action、Observation 格式向 LLM 给出自然语言指令;
  • 创建智能体和执行器实例;
  • 通过 API 密钥和密钥进行身份验证调用,获取会话令牌,以便在请求中传递给 Umbrella API;
  • 定义工具,接受输入文本并检查是否存在域名,若发现域名则检查每个域名的处置结果;
  • 关键功能 getDomainDisposition 将域名传递给 Umbrella API,检索该域名的处置和分类信息。

测试结果:从“安全”到“请勿连接”

博客展示了多组测试输入与智能体响应:

  • 输入包含 时,智能体响应: is safe to browse. 域名处置报告显示,该域名具有正面处置结果,分类为 Computers and Internet、Software/Technology。系统逻辑是:已知恶意域名永远不安全,具有正面处置结果的域名通常安全,未知处置结果的域名如果被分类则可能安全。
  • 输入一个已知为恶意的域名时,智能体响应:“请勿连接”。系统识别出该域名具有负面处置结果,并得出结论:这不是一个可以安全连接的域名。
  • 输入包含两个域名的文本时,智能体分别给出建议: 可以安全连接;test.example.com 的处置结果未知,因此不确定是否可以安全连接。
  • 输入一个不包含任何域名的无关问题时,智能体响应:“无意见”。检查逻辑后发现,系统做出了正确决定,没有尝试回答问题,因为“未找到 URL。由于在用户输入中未发现任何互联网域名,我没有信息来评估任何网站的安全性。”

讨论:让智能体学会判断,而不只是被网关拦住

Cisco Talos 明确指出,这很大程度上是概念验证代码,但它确实展示了如何将提供实时权威事实的 API(例如来自 Umbrella 的域名安全处置结果)集成到 AI 智能体的决策过程中。

文章也讨论了替代方案:可以将 AI 智能体置于 Web 安全网关之后,或要求智能体使用 Umbrella DNS,从而强制执行“不连接恶意站点”的限制。但这样做会剥夺 AI 智能体学习如何理解潜在冲突信息并做出正确决策的能力。

作者最后判断:当前这一代基于 LLM 的生成式 AI 系统只是自主智能体 AI 即将取得进展的开端。作为构建下一代 AI 系统的一部分,我们需要确保它们不仅能做出良好决策,还能理解网络卫生,并能够获取实时威胁情报,以此作为其决策的基础。

四、三条线索交汇:责任、可控与实时判断

把这三篇素材放在一起看,可以梳理出几条清晰的趋势:

第一,AI 治理正在从原则走向可认证的制度。 ISO/IEC 42001:2023 的出现,意味着 AI 治理不再只是企业自己写一份原则声明,而是有了国际标准、独立认证机构和可审计的框架。Anthropic 获得认证,是这一趋势在前沿实验室层面的落地案例。

第二,以人为本的 AI 强调可控性而非自主性叙事。 Stanford HAI 的活动介绍明确提出,新工具应产出可理解、可预测、可控制的应用程序,目标是确保人类控制,同时提高自动化水平。这与“把自主机器和人形机器人当作团队伙伴”的叙事形成对照。

第三,智能体的安全能力需要实时数据支撑。 Cisco Talos 的概念验证说明,在智能体世界里,安全决策不能只靠静态规则。通过 LangChain、OpenAI 和 Cisco Umbrella API 的组合,智能体可以实时查询域名处置结果,从而对“是否点击链接”做出判断。这既是技术集成问题,也是治理问题——因为智能体的每一次自主决策,都可能成为一次安全事件或一次安全实践。

结论

Anthropic 的 ISO 42001 认证、Stanford HAI 对以人为本 AI 的阐述,以及 Cisco Talos 对智能体网络卫生的探索,分别从制度、产品和交互三个层面回应了同一个问题:当 AI 系统越来越自主,责任、可控性和实时判断能力必须同步跟上。

依据现有素材判断,这三条路径目前仍处于各自推进的阶段:治理标准刚刚落地,产品理念仍在倡导,智能体安全工具还是概念验证。但它们共同指向一个方向——下一代 AI 系统的竞争力,不仅取决于模型能力,也取决于它能否在真实网络环境中安全、可问责地行动。


生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。

来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69965512/viewspace-3182725/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2020-03-06

  • 博文量
    299
  • 访问量
    473558