大语言模型（LLM（大语言模型））具备惊人的推理能力，然而其内部决策过程在很大程度上仍然是不透明的。如果系统未按预期运行，缺乏对其内部工作机制的可见性会使我们难以准确定位其行为的确切原因。去年，我们通过 Gemma Scope 推进了可解释性科学，这是一个旨在帮助研究人员理解 Gemma 2（我们的轻量级开放模型系列）内部工作机制的工具包。

今天，我们发布 Gemma Scope 2：一套全面的、开放的可解释性工具套件，适用于所有 Gemma 3 模型规模，从 270M 到 27B 参数。这些工具使我们能够追踪模型整个“大脑”中的潜在风险。

据我们所知，这是迄今为止 AI 实验室在可解释性工具方面规模最大的一次开源发布。制作 Gemma Scope 2 涉及存储约 110 PB 的数据，以及训练总计超过 1 万亿个参数。

随着 AI 的持续进步，我们期待 AI 研究社区使用 Gemma Scope 2 来调试涌现的模型行为，利用这些工具更好地审计和调试 AI 智能体，并最终加速开发针对越狱、幻觉和谄媚等问题的实用且稳健的安全干预措施。

我们的交互式 Gemma Scope 2 演示已可试用，由 Neuronpedia 提供支持。

Gemma Scope 2 的新特性

可解释性研究旨在理解 AI 模型的内部工作机制和已学习算法。随着 AI 变得日益强大和复杂，可解释性对于构建安全可靠的 AI 至关重要。

与其前身一样，Gemma Scope 2 充当 Gemma 系列语言模型的显微镜。通过结合稀疏自编码器（SAE）和转码器，它使研究人员能够深入模型内部，观察模型在思考什么，以及这些想法是如何形成并与模型行为相关联的。这反过来又使得对越狱或其他与安全相关的 AI 行为进行更丰富的研究成为可能，例如模型所传达的推理与其内部状态之间的差异。

虽然最初的 Gemma Scope 支持了安全关键领域的研究，如模型幻觉、识别模型已知的秘密以及训练更安全的模型，但 Gemma Scope 2 通过重大升级支持了更为宏大的研究：

• 大规模全覆盖：我们为整个 Gemma 3 系列（最高 27B 参数）提供了完整的工具套件，这对于研究仅在规模化时才会出现的涌现行为至关重要，例如此前由 27B 规模的 C2S Scale 模型所发现的、帮助发现了一种新的潜在癌症治疗路径的涌现行为。尽管 Gemma Scope 2 并未在该模型上训练，但这是一个示例，说明这些工具可能能够理解这类涌现行为。

• 更精细的工具以解读复杂的内部行为：Gemma Scope 2 包含在我们 Gemma 3 系列模型每一层上训练的 SAE 和转码器。Skip-transcoder 和 Cross-layer transcoder 使解读分布在整个模型中的多步计算和算法变得更加容易。

• 先进的训练技术：我们使用了最先进的技术，特别是 Matryoshka 训练技术，它帮助 SAE 检测到更有用的概念，并解决了在 Gemma Scope 中发现的某些缺陷。

• 聊天机器人行为分析工具：我们还提供了针对 Gemma 3 聊天用例调优版本的可解释性工具。这些工具能够分析复杂的多步行为，如越狱、拒绝机制和思维链忠实度。

推动领域发展

通过发布 Gemma Scope 2，我们旨在让 AI 安全研究社区能够利用一套前沿的可解释性工具推动该领域向前发展。这种新水平的访问权限对于解决仅在更大、更现代的大语言模型中才会出现的现实世界安全问题至关重要。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：Google DeepMind Blog

原创地址：https://deepmind.google/blog/gemma-scope-2-helping-the-ai-safety-community-deepen-understanding-of-complex-language-model-behavior/