今天，Meta 发布了 Muse Spark Open 的权重，这是迄今为止能力最强的美国开放权重模型。它今天已在 Hugging Face 上以 Muse Model License 提供。Muse Spark Open 在 SGLang 和 vLLM 推理引擎上运行经过优化，并针对 NVIDIA、AMD 和 Intel 进行了优化。

在我们 8 月发布 Muse Spark 的基础上，这个开放权重版本增加了额外的安全后训练，使其作为没有系统护栏的独立模型时更能抵御滥用。其结果是，该模型成为安全方面的顶级开源选择。Muse Spark Open 是一个 816B 总参数/42B 激活参数的模型，上下文窗口为 1M tokens。Muse Spark Open 专为编码和智能体工作而构建，原生支持多模态，并与 Muse Spark 1.3 共享相同的基座模型。

Meta 热爱开源，作为 PyTorch 的创造者，我们致力于回馈社区，确保整个生态系统完全支持 Muse Spark Open。首先，我们集成了 Helion，这是我们令人兴奋的新 PyTorch 原生高级 DSL，用于高性能且可移植的 ML 内核，以提供高性能操作。此外，TorchTitan 已经开箱即用地支持 Muse Spark 进行开放环境下的监督微调和 RL，我们很期待看到 PyTorch 社区能将其推进到多远！

Muse Spark Open

Muse Spark Open 是一个针对编码优化的开放权重模型。它专门针对智能体编码工作流进行训练，在开发者实际工作的代码库中提供更高的首次尝试准确率、可靠的工具调用和深入的代码库理解。你可以在我们之前的模型发布博客中阅读更多内容。

增强的编码能力

擅长代码生成、调试和代码库理解。基于真实开发者工作流训练——多文件重构、调试会话和长时间运行任务——因此模型能跟上你实际的工作方式。1M 上下文窗口意味着它可以处理你的整个项目，包括复杂依赖、遗留代码和数千个文件，而无需将任务拆分成片段

多模态理解

Muse Spark Open 具备音频和音视频感知能力——以及图像和文档理解能力。作为一个推理模型，它原生且可靠地处理图像、音频和文本输入。

智能体

Muse Spark Open 从底层开始就作为智能体模型构建。它规划步骤、行动、观察并在长周期内自我纠正——而不仅仅是单次工具调用。它经过训练可以浏览网页（包括多模态浏览），并使用智能体框架来：为可分解的工作生成和协调子智能体；以及利用统一跨桌面、移动端和浏览器的计算机使用能力。它基于长周期、多站点任务进行训练，并生成单独的评论，让模型在行动前陈述意图——因此你始终可以知道它在做什么以及为什么。

为什么选择 Helion 内核？

Helion 是一种 PyTorch 原生的内核编写语言，专为跨异构硬件平台编写高性能内核而设计。在获得开源生态系统的早期采用后，Helion 于 2026 年 4 月成为 PyTorch Foundation 的一部分。Muse Spark Open 随附了 RoPE、RMSNorm、量化等操作的 Helion 实现，在 NVIDIA GB300 上，与使用硬件特定语言（例如 NVIDIA CUDA（NVIDIA 并行计算平台和编程模型） 和 CuTe DSL）编写的自定义内核相比，实现了 1.03 – 3.95 倍的加速。这些相同的内核可直接移植到 AMD，在 AMD Mi350 上取得了类似的性能提升，端到端吞吐量整体提升了 3%。

此外，我们还在 SGLang 中为 Muse Spark Open 推出了 Helion megakernels。这些内核完全用 Helion 编写，将多个操作融合到单个持久内核中，以改善低延迟推理，并且同样可以针对不同的形状和硬件进行自动调优。

用户还可以针对更广泛的硬件平台和工作负载进一步自动调优 Helion 内核——包括不同的加速器架构（NVIDIA、AMD、Google TPU 等）、量化格式、张量形状和并行策略——而无需为每种配置维护单独的手动调优实现。这些能力共同使实现可移植性能变得更加容易，同时降低了开发和维护专用内核的成本。

使用 TorchTitan 进行后训练

TorchTitan 是一个 PyTorch 原生平台，专为生成式 AI 模型的快速实验和大规模训练而设计。从今天开始，TorchTitan 新增了 Meta 的 Muse Spark Open 的模型定义，因此开发者可以根据自己的需求对其进行调优。

TorchTitan 开箱即用地原生支持多轮 SFT 和 LoRA，以及强化学习能力（TitanRL），允许用户对 Muse Spark Open 进行微调。

开始使用

我们分享这项工作是因为我们希望每个人都能使用最好的 AI 模型。Muse Spark Open 在 SGLang 中随附了自定义、可自动调优的 Helion GPU（图形处理器） 内核，在 NVIDIA 和 AMD GPU 上实现了 1.03–3.95 倍的内核级加速，在 AMD MI350 上实现了 3% 的端到端加速。您还可以利用 PyTorch 的 TorchTitan 进一步调优模型，以针对您的用例进行定制。

立即开始构建：https://huggingface.co/meta-models/Muse-Spark-open-816B-A42B

Muse Spark 是我们模型系列中的全尺寸模型。我们之前发布了 Muse Glimmer，一个小型密集模型。立即通过 ExecuTorch 开始使用它。

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：PyTorch Blog

原创地址：https://pytorch.org/blog/muse-spark-open/