关于 OpenAI 的 Astra 模型是“循环深度或循环 Transformer（深度学习中的注意力模型架构）”的说法有很多炒作。让我们稍微澄清一下。
大约两个月前，我分享了 Nanbeige 的架构细节，例如，“Nanbeige4.2-3B 在 28T tokens 上从头预训练，使用循环 Transformer，通过复用层堆栈来增加容量而不增加参数。”
是的，就是这样。循环 Transformer 的想法只是在 Transformer 块中复用层。
在 Nanbeige 的情况下，主要思想是将相同的 22 层堆栈（=Transformer 块）复用两次而不是一次。因此，实际上它将 22 层架构扩展到 44 层，但不复制权重。
简单来说，这大约使模型大小翻倍（如果我们暂时忽略嵌入层和输出层）。但不需要 2 倍的存储和 RAM 来承载这个模型，因为复用了组件，所以大小保持不变。然而，在计算方面，成本几乎是 2 倍，因为我们将嵌入文本通过几乎 2 倍的层。
为什么？在 Nanbeige 4.2 技术报告中，研究人员发现两次传递给出了最佳权衡，并保留了标准架构约 75% 的 token 效率。（更多传递几乎没有增益，但使训练更慢且更昂贵。）
据我所知，虽然 Nanbeige 4.2 是第一个采用这种方法的著名开放权重模型，但这个想法可以追溯到 NeurIPS 论文“Mixture-of-recursions: Learning dynamic recursive depths for adaptive token-level computation”。实际上，这篇论文提出了一种更复杂的机制，通过添加一个学习路由器来确定每个 token 接收一次、两次或更多次传递。因此，简单的 token 可以提前退出，而较难的 token 接收额外的计算。
总之，Astra 可能是一个非常好的模型，但这不应该关于这个“循环 Transformer 方面”，这只是一个微小的架构调整。
此外，“新技术的工作方式掩盖了 AI 的部分或全部推理，即所谓的‘思维链’”这一说法对于循环 Transformer 方法来说不一定正确。可能 The Information 的记者指的是其他技术或误解了循环 Transformer 方法。
复用层本身并不会抑制可见的思维链。它在下一个 token 发出之前向隐藏状态添加计算，就像普通 Transformer 层一样。
但根据我们拥有的信息，这里唯一合理的解释是，如果模型使用更多这些循环传递，它可能需要生成更少的中间推理 token。因此，更多的计算发生在无法作为文本读取的潜在激活中。但如果我们扩大模型规模，比如 GPT 5.6 Luna -> GPT 5.6 Sol，也会得到同样的效果。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原创地址：https://sebastianraschka.com/blog/2026/openai-astra-looped-transformers.html
原文作者：Sebastian Raschka；如有侵权，请联系管理员删除。
