导语:一边是 Anthropic 拿下 ISO/IEC 42001:2023 认证,为 AI 治理提供独立验证;一边是 Cisco Talos 用 LangChain 和 Umbrella API 教 AI 智能体识别恶意域名。当自主智能体开始替人类“点击链接”,安全与责任正在从模型内部延伸到整个网络交互链路。
Anthropic 近日宣布,其人工智能管理体系已获得新版 ISO/IEC 42001:2023 标准认证。这是首个概述人工智能治理要求的国际标准,目标是确保 AI 系统以负责任的方式开发和利用。
Anthropic 在官方博客中表示,这一认证提供了独立验证,证明其已实施一套全面框架,用于识别、评估和缓解与 AI 系统相关的潜在风险。关键要素包括:
Anthropic 称,自己很自豪能成为首批获得该认证的前沿 AI 实验室之一,并希望这能为合作伙伴和公众提供进一步保证。该认证由 Schellman Compliance, LLC 颁发,该机构是经 ANSI National Accreditation Board 认可的 ISO 认证机构。
值得注意的是,ISO 42001 认证并非孤立动作,而是建立在 Anthropic 已有的治理工作之上,包括公开发布并近期更新的《负责任扩展政策》治理框架、部署 Constitutional AI 以帮助模型与人类价值观保持一致,以及对 AI 安全性和鲁棒性的积极研究。
除 ISO 42001 之外,Anthropic 还做出一系列额外自愿承诺,覆盖风险评估与缓解、安全和隐私保障以及公众意识提升等关键领域。相关 ISO 认证信息现已在其 Trust Center 上提供,包括已颁发的证书、标准概述、具体要求,以及它如何强化对负责任 AI 开发的承诺。
配图建议:Anthropic 官方博客中使用的 ISO 42001 认证配图,可由编辑从原文页面获取并上传。
在 Stanford HAI 的一场活动介绍中,提出了一个更偏产品与体验视角的判断:下一代用户体验将使人类能力提升 1000 倍。这些新工具将放大、增强、提升并赋能人类,正如 Web、电子邮件、搜索、导航、数字摄影以及许多其他应用已经做到的那样。
该观点强调,新工具不会把重点放在将自主机器和人形机器人作为团队伙伴,而是会产出可理解、可预测、可控制的应用程序,从而大规模促进自我效能、人类责任和社会参与。目标是确保人类控制,同时提高自动化水平。
这一表述与 Anthropic 的治理路径形成呼应:一边是标准与认证层面的制度约束,一边是产品设计层面的可控性与可理解性。两者共同指向同一个问题——当 AI 能力持续增强,人类如何保持对系统的有效控制。
如果说 ISO 42001 解决的是“组织如何治理 AI”,那么 Cisco Talos 的这篇博客解决的是更具体的问题:当 AI 智能体自己上网时,它怎么判断一个链接能不能点?
文章开篇引用了菲利普·K·迪克 20 世纪 60 年代末的科幻小说《仿生人会梦见电子羊吗?》。作者借此提出:随着生成式 AI 让自主智能体能够代表人类进行推理和行动,我们必须考虑要为智能体 AI 配备哪些人类特质和知识,使其能够自主、合理且安全地行动。
其中一项关键技能,就是在浏览互联网时保持安全。如果智能体 AI 系统以与人类互联网用户相同的方式与网站和 API 交互,它们需要意识到:并非所有网站或公共 API 都是可信的,用户提供的输入也不可信。因此,必须赋予 AI 智能体做出适当网络卫生决策的能力。在智能体世界中,由自主智能体来决定“点击链接”是否安全和适当。
威胁形势不断变化,因此无法教授 AI 系统关于“什么是安全链接、什么不是安全链接”的硬性规则。AI 智能体必须实时验证链接的处置情况,以确定某些内容是否恶意。
Cisco Talos 展示了一个概念验证,使用 LangChain 与 OpenAI 结合,让 AI 智能体通过 Cisco Umbrella API 访问实时威胁情报,以评估域名处置情况。
实现该示例需要 Cisco Umbrella 的 API 密钥和付费 OpenAI 账户。具体步骤包括:
OPENAI_API_KEY、UMBRELLA_KEY 和 UMBRELLA_SECRET 的 shell 环境变量。完整示例代码可在 Talos 的 GitHub 仓库中找到。博客中逐步展示了关键代码片段,包括:
getDomainDisposition 将域名传递给 Umbrella API,检索该域名的处置和分类信息。博客展示了多组测试输入与智能体响应:
时,智能体响应: is safe to browse. 域名处置报告显示,该域名具有正面处置结果,分类为 Computers and Internet、Software/Technology。系统逻辑是:已知恶意域名永远不安全,具有正面处置结果的域名通常安全,未知处置结果的域名如果被分类则可能安全。 可以安全连接;test.example.com 的处置结果未知,因此不确定是否可以安全连接。Cisco Talos 明确指出,这很大程度上是概念验证代码,但它确实展示了如何将提供实时权威事实的 API(例如来自 Umbrella 的域名安全处置结果)集成到 AI 智能体的决策过程中。
文章也讨论了替代方案:可以将 AI 智能体置于 Web 安全网关之后,或要求智能体使用 Umbrella DNS,从而强制执行“不连接恶意站点”的限制。但这样做会剥夺 AI 智能体学习如何理解潜在冲突信息并做出正确决策的能力。
作者最后判断:当前这一代基于 LLM 的生成式 AI 系统只是自主智能体 AI 即将取得进展的开端。作为构建下一代 AI 系统的一部分,我们需要确保它们不仅能做出良好决策,还能理解网络卫生,并能够获取实时威胁情报,以此作为其决策的基础。
把这三篇素材放在一起看,可以梳理出几条清晰的趋势:
第一,AI 治理正在从原则走向可认证的制度。 ISO/IEC 42001:2023 的出现,意味着 AI 治理不再只是企业自己写一份原则声明,而是有了国际标准、独立认证机构和可审计的框架。Anthropic 获得认证,是这一趋势在前沿实验室层面的落地案例。
第二,以人为本的 AI 强调可控性而非自主性叙事。 Stanford HAI 的活动介绍明确提出,新工具应产出可理解、可预测、可控制的应用程序,目标是确保人类控制,同时提高自动化水平。这与“把自主机器和人形机器人当作团队伙伴”的叙事形成对照。
第三,智能体的安全能力需要实时数据支撑。 Cisco Talos 的概念验证说明,在智能体世界里,安全决策不能只靠静态规则。通过 LangChain、OpenAI 和 Cisco Umbrella API 的组合,智能体可以实时查询域名处置结果,从而对“是否点击链接”做出判断。这既是技术集成问题,也是治理问题——因为智能体的每一次自主决策,都可能成为一次安全事件或一次安全实践。
Anthropic 的 ISO 42001 认证、Stanford HAI 对以人为本 AI 的阐述,以及 Cisco Talos 对智能体网络卫生的探索,分别从制度、产品和交互三个层面回应了同一个问题:当 AI 系统越来越自主,责任、可控性和实时判断能力必须同步跟上。
依据现有素材判断,这三条路径目前仍处于各自推进的阶段:治理标准刚刚落地,产品理念仍在倡导,智能体安全工具还是概念验证。但它们共同指向一个方向——下一代 AI 系统的竞争力,不仅取决于模型能力,也取决于它能否在真实网络环境中安全、可问责地行动。
生成标记:本文由 ITPUB 文章生成平台基于已选素材整理生成。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/69965512/viewspace-3182725/ ,如需转载,请注明出处,否则将追究法律责任。