我们已根据 Anthropic 的负责任扩展政策（RSP）激活了 AI 安全等级 3（ASL-3）部署与安全标准，并与 Claude Opus 4 的发布同步实施。ASL-3 安全标准涉及增强的内部安全措施，使模型权重更难被窃取，而相应的部署标准则涵盖一组针对性明确的部署措施，旨在限制 Claude 被专门用于开发或获取化学、生物、放射性及核（CBRN）武器的滥用风险。这些措施不应导致 Claude 拒绝查询，除非涉及极为狭窄的主题范围。

我们以预防性和临时性措施的方式，在 ASL-3 标准下部署 Claude Opus 4。需要明确的是，我们尚未确定 Claude Opus 4 是否已明确通过需要 ASL-3 保护的能力阈值。相反，由于 CBRN 相关知识和能力的持续提升，我们认定对于 Claude Opus 4 而言，无法像此前所有模型那样明确排除 ASL-3 风险，需要更详细的研究才能最终评估该模型的风险水平。（我们已排除 Claude Opus 4 需要 ASL-4 标准的可能性，这符合 RSP 的要求；同样，我们也已排除 Claude Sonnet 4 需要 ASL-3 标准的可能性。）

AI 模型的危险能力评估本身就具有挑战性，随着模型接近我们的关注阈值，确定其状态所需的时间也会更长。主动启用更高标准的安全与保障措施可以简化模型发布流程，同时让我们通过迭代改进防御措施并减少对用户的影响来积累经验。

本文及随附报告将讨论这些新措施及其背后的理由。

背景

能力日益增强的 AI 模型需要越来越强大的部署和安全保护。这一原则是 Anthropic 负责任扩展政策（RSP）的核心。1

• 部署措施针对特定类别的滥用行为；具体而言，我们的 RSP 侧重于降低模型被滥用于最危险类别武器——CBRN——攻击的风险。

• 安全控制旨在防止模型权重被盗——模型权重是 AI 智能和能力的核心所在。

Anthropic 的 RSP 包含模型的能力阈值：如果模型达到这些阈值（或者我们尚未确定它们是否足够低于这些阈值），我们就被要求实施更高等级的 AI 安全等级标准。迄今为止，我们所有模型都是在 AI 安全等级 2（ASL-2）标准的基线保护下部署的。ASL-2 部署措施包括训练模型拒绝危险的 CBRN 相关请求。ASL-2 安全措施包括针对机会性窃取权重尝试的防御。ASL-3 标准要求对部署和安全威胁提供更高水平的防御，足以应对复杂的非国家行为者。

理由

我们尚未确定 Claude Opus 4 的能力是否确实需要 ASL-3 标准的保护。那么为什么我们现在就实施了这些保护措施？在我们发布上一个模型 Claude Sonnet 3.7 时，我们就预见到可能会这样做。在那种情况下，我们确定该模型不需要 ASL-3 标准的保护。但我们承认，鉴于进展的速度，一个非常现实的可能性是，近期的未来模型可能需要这些增强措施。2 事实上，在发布 Claude Opus 4 的准备过程中，我们主动决定在 ASL-3 标准下启动它。这种方式使我们能够在真正需要这些保护之前，专注于开发、测试和完善它们。

这种方式也符合 RSP，该政策允许我们偏向谨慎行事，在高于我们确定所需的标准下部署模型。在本例中，这意味着主动执行 ASL-3 安全与部署标准（并排除需要更高级保护的可能性）。我们将继续评估 Claude Opus 4 的 CBRN 能力。如果我们得出结论认为 Claude Opus 4 尚未超越相关能力阈值，那么我们可能会取消或调整 ASL-3 保护措施。

部署措施

新的 ASL-3 部署措施范围较窄，专注于防止模型协助与关注范围内的 CBRN 武器相关任务，3 特别是防止以超出无大语言模型时已有能力的方式协助扩展的、端到端的 CBRN 工作流。这包括限制通用越狱——即允许攻击者绕过我们的防护栏并持续提取长链条工作流增强型 CBRN 相关信息的系统性攻击。与我们底层威胁模型一致，ASL-3 部署措施并不旨在解决与 CBRN 无关的问题、防御非通用越狱，或阻止提取常见可得的单一信息片段，例如“沙林的化学式是什么？”的答案（尽管它们可能附带阻止这一点）。鉴于不断演变的威胁态势，我们预计会发现新的越狱，并且我们需要随时间快速迭代和改进我们的系统。

我们制定了一个由三部分组成的方案：使系统更难被越狱、在越狱发生时检测它们，以及迭代改进我们的防御。

• 使系统更难被越狱。我们实施了 Constitutional Classifiers——一个系统，其中实时分类器防护栏基于代表有害和无害 CBRN 相关提示与补全的合成数据训练，监控模型输入和输出，并进行干预以阻止一小类有害 CBRN 信息。我们的生产前测试表明，我们可以大幅降低越狱成功率，同时仅为正常运营增加适度的计算开销（模型推理所需之外的额外处理成本）。

• 在越狱发生时检测它们。我们还建立了一个更广泛的监控系统，包括一个专注于压力测试我们的 Constitutional Classifiers 的漏洞赏金计划、离线分类系统，以及威胁情报合作伙伴关系，以快速识别和响应可能导致 CBRN 滥用的潜在通用越狱。

• 迭代改进我们的防御。我们相信可以快速修复越狱，方法包括生成与我们发现的越狱相似的合成越狱，并使用这些数据训练新的分类器。

所有这些措施都需要持续改进，既是为了提高其有效性，也是因为它们仍可能偶尔影响合法查询（也就是说，它们可能产生误报）。4 尽管如此，它们代表了在防御 AI 能力灾难性滥用方面的一项重大进展。5

安全

我们的针对性安全控制专注于保护模型权重——这些关键数值参数如果被攻破，可能允许用户在没有部署保护的情况下访问我们的模型。我们的方法涉及 100 多种不同的安全控制，将预防性控制与检测机制结合起来，主要针对来自复杂非国家行为者的威胁，6 覆盖从初始入口点、横向移动到最终提取的全过程。其中许多控制，例如模型权重访问的双人授权、增强的变更管理协议，以及通过二进制允许列表实现的终端软件控制，都是遵循其他具有安全意识的组织所建立的最佳实践的示例。

然而，有一项控制对于保护模型权重这一目标尤为独特：我们实施了初步的出站带宽控制。出站带宽控制限制数据从 AI 模型权重所在的安全计算环境中流出。模型的组合权重规模巨大。通过限制出站网络流量速率，这些控制可以利用模型权重规模来创造安全优势。当通过异常带宽使用检测到模型权重可能被外泄时，安全系统可以阻止可疑流量。随着时间推移，我们预计将达到这样的程度：速率限制足够低，以至于在被检测到之前外泄模型权重非常困难——即使攻击者在其他方面已严重攻破我们的系统。实施出站带宽控制一直是理解和治理数据流出我们内部系统方式的推动因素，这为我们的检测和响应能力带来了益处。

与部署保护一样，我们正在继续努力提高安全控制的覆盖范围和成熟度，并始终考虑不断演变的威胁态势。特别是，我们将继续改进我们的出站控制、针对更复杂内部威胁的缓解措施，以及我们的整体安全态势。

结论

正如我们上面所强调的，对前沿 AI 模型应用哪些部署和安全措施这一问题远未解决。我们将继续内省、迭代和改进。在 ASL-3 标准下运营的实践经验将帮助我们揭示新的、也许是意想不到的问题和机会。

我们将继续与 AI 行业的其他人、Claude 用户，以及政府和社会中的合作伙伴合作，改进我们守护这些模型的方法。我们希望我们的详细报告能够对 AI 行业中尝试实施类似保护的其他人有用，并帮助我们所有人准备好迎接更强大 AI 的前景与挑战。

阅读完整报告。

脚注

1 RSP 只是我们缓解潜在风险方法的一个组成部分。

2 特别是，我们有一些证据表明 CBRN 相关能力有所提升。实验显示，与使用标准互联网访问的参与者相比，能够访问 Claude Sonnet 3.7 的参与者在与 CBRN 武器获取相关的任务上表现略好（尽管所有参与者的计划仍存在关键性缺陷）。模型在病毒学能力测试等评估中的表现一直在稳步提升。

3 最初他们仅专注于生物武器，因为我们认为这些武器构成了绝大部分风险，不过我们正在评估是否可能将范围扩展到其他一些 CBRN 威胁。

4 我们还建立了访问控制系统，以便对具有两用科学技术应用的用户进行审查，使其能够获得针对某些分类器操作的定向豁免。

5 有关我们对这些措施有效性和充分性评估的更多信息，请参阅 ASL-3 部署保障报告。

6 民族国家威胁（使用非新型攻击链的除外）和复杂的内部风险不在 ASL-3 标准的范围内。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Anthropic Blog

原创地址：https://www.anthropic.com/news/activating-asl3-protections