是的，开源/开放权重模型对于健康的AI生态系统非常重要。这样我们才能验证事物、核实声明，并在闭源实验室之外保持跟进。此外，如果我们还不准备通过使用闭源实验室的模型来分享个人数据和知识产权，它也给了我们在自己的硬件上运行AI的自由。（并不是说专有模型不好，实际上我也经常使用它们，但如果没有替代方案，那就不健康了。）
总之，虽然几乎所有人都在等待Kimi K3和Ling 3.0的权重随时登陆模型中心，但过去一周还有不少其他有趣的开放权重模型发布。是的，就是这样的一个星期！
所以，这里是架构图以及一些我觉得最有趣的笔记：
1) Nanbeige 4.2 3B使用了循环深度共享。这基本上意味着它将同一个22层（=Transformer块）堆栈运行两次。因此，它将22层架构扩展到44层，但不复制权重。（Transformer块计算量翻倍，但内存占用相同。）
为什么？信息有点少，但Nanbeige 4.2技术报告的第2.1节说，两次传递给出了最佳权衡，并保留了标准架构约75%的token效率。更多传递几乎没有收益，但使训练慢得多且昂贵得多。
2) Laguna S 2.1是poolside的Laguna模型，尺寸非常不错：118B稀疏MoE，8B活跃参数，1M token上下文窗口。除此之外，架构相当标准。它使用了36个滑动窗口层和12个全局（门控）GQA层。然而，考虑到这个尺寸，以及它（勉强）能在我的DGX Spark上运行（使用不到80 GB RAM），这目前是我个人最感兴趣的模型。它大3倍，因此稍慢，但也许是作为日常主力Qwen3.6-35B替代品的好候选。（不过仍在等待更多独立性能基准测试。）
3) Motif-3-Beta是一个新的314B-A13B稀疏MoE，在mHC和潜在注意力方面有些基于DeepSeek V4。但它使用了一个新组件，分组差分潜在注意力，其灵感来自多头潜在注意力。我可能应该找个时间写一篇关于这个的文章，但现在的tl;dr如下。常规MLA将键和值压缩成更小的潜在表示，主要为了减少KV缓存大小。GDLA做类似的低秩压缩，但将注意力头分组，并为每组学习一个噪声头，噪声被减去以用于过滤目的……总之，改天再聊这个话题！
4) Solar Open 2是Upstage的新250B-A15B混合MoE，它将三个Kimi Delta Attention层与一个GQA层交错排列。
5) Antares 1B是Cisco的一个小模型（还有一个更小的0.3B变体），它从IBM Granite 4.0 1B骨干开始，并使用SFT加GRPO用于基于终端的网络安全内容。这是一个在真正的小模型上进行任务特定后训练的好例子。
6) BTL-3是Qwen3.6-27B的rank-32 LoRA适配器，面向编码智能体和结构化工具使用。非常强的基准性能表明，LoRA适配器在2026年仍然是一个有用的工具/技术。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原创地址：https://sebastianraschka.com/blog/2026/notable-open-weight-models-this-week.html
原文作者：Sebastian Raschka；如有侵权，请联系管理员删除。
