使用 Meta 的 Muse Spark Open 在 NVIDIA GB300 NVL72 上扩展智能体编码工作流 | NVIDIA 技术博客
Meta 发布 Muse Spark Open，这是一个针对编码优化的 816B 混合专家（MoE）模型，拥有 42B 激活参数和 1M token 上下文窗口。该模型在 NVIDIA GB300 NVL72 Blackwell Ultra 上专门针对智能体编码工作流进行训练，具备更高的首次尝试准确率、可靠的工具调用能力以及对跨仓库代码库的深度理解。1M token 上下文窗口可容纳整个项目，包括复杂依赖、遗留代码和数千个文件，无需将任务拆分成片段。
作为推理模型，Muse Spark Open 在图像和文档理解之外增加了音频和视频感知能力，能够原生且可靠地处理其所见、所闻和所读的内容。由 Meta 生成并针对 NVIDIA Blackwell Ultra 优化的 NVFP4 检查点，借助原生 FP4 Tensor Core 加速，缩小了全部 816B 参数的内存占用。每个 token 移动的字节数更少，从而提升每用户每秒 token 数；释放出的内存可支持更大的 KV 缓存，以应对并发的长上下文会话，带来更高吞吐量和更低的每 token 成本。
专为智能体编码打造，跨文本、图像、视频和音频的多模态理解
通用编码模型针对单次补全进行优化，例如生成函数、编写单元测试或建议内联修复。它们擅长上下文较小、答案即时的离散且范围明确的任务。智能体编码则有着根本不同的需求。规划多文件重构、在数千个文件中导航、从失败的测试中恢复，以及在长时间跨度内协调子智能体，都需要一个为持续、多步骤工作而构建的模型。
Muse Spark Open 正是为这些工作负载而构建，具备更高的首次尝试准确率、可靠的工具调用能力以及对跨仓库代码库的深度理解。它能够规划、行动、观察和自我纠正。它支持多步骤任务执行，包括工具使用、输出评估和迭代优化。该模型使用目标条件化来保持方向，并通过上下文压缩来保留在长时间运行的会话中持续取得进展所需的知识。凭借 1M token 上下文窗口，它可容纳整个项目，包括复杂依赖、遗留代码和数千个文件，无需将任务拆分成片段。
除编码之外，它还能搜索网页（包括多模态浏览）、为可分解任务生成并协调子智能体，并利用统一于桌面、移动端和浏览器的计算机使用能力。它在每个操作之前生成单独的说明，使开发者了解智能体正在做什么以及为什么这样做。
该模型的 1.8B 感知编码器原生处理交错的文本、图像、视频帧和音频，无需为每种模态单独构建流水线。这意味着模型在单次统一处理中对所见、所闻和所读的内容进行推理。这适用于在同一智能体会话中涉及截图、图表、错误日志和视频演示的开发者工作流。稀疏 MoE 路由每个 token 仅激活 816B 总参数中的 42B，以同等规模稠密模型服务成本的一小部分提供前沿智能体能力。
Muse Spark Open 在 GB300 NVL72 上的优化性能
NVIDIA GB300 NVL72 采用机架级架构，将 72 个 NVIDIA Blackwell Ultra GPU（图形处理器） 集成到单一平台中。其大型 72-GPU NVIDIA NVLink 域以 130 TB/s 的速率实现高效通信，消除了专家流量必须跨越传统现成网络时出现的瓶颈。对于像 Muse Spark Open 这样将每个 token 路由到 256 个专家中的 8 个的稀疏 MoE 模型，该带宽直接决定了部署能实现多少理论吞吐量。
智能体工作负载将静态的单轮交互转变为多步骤工作流，这些工作流会进行推理、调用工具、协调子智能体，并在轮次之间携带不断增长的上下文。开箱即用，在 NVIDIA GB300 NVL72 上运行智能体工作负载的 Muse Spark Open 每 GPU 每秒可处理高达 50K，每用户每秒可处理高达 600 个 token，使 AI 工厂能够以高吞吐量和低延迟在生产环境中运行大参数模型。
Muse Spark Open 的灵活部署选项
NVIDIA 支持多种推理栈以满足各种开发者需求。SGLang、vLLM 和 TensorRT（NVIDIA 深度学习推理优化库） LLM（大语言模型） 让开发者能够在 NVIDIA 加速计算平台上直接控制服务配置、并行度和批处理。TensorRT LLM 增加了针对 NVIDIA GPU 调优的编译引擎。NVIDIA Dynamo 发布了全部三种方案的部署配方，并在专用 GPU 池之间将预填充与解码分离，因此计算密集的提示处理不会拖慢 token 生成。其 KV 缓存感知路由将每个请求发送到已持有相关前缀的工作节点，避免在长智能体会话中上下文累积时进行重复预计算。
使用 NeMo AutoModel 和 Megatron Bridge 对 Muse Spark Open 进行后训练
开发者可以使用 NVIDIA NeMo AutoModel 在特定领域数据集上对 Muse Spark Open 进行后训练。NeMo AutoModel 是一个 PyTorch 原生训练库，原生支持 Hugging Face 检查点，无需进行模型转换。它开箱即用地支持完整的 SFT 和 LoRA 微调，并针对各种行业特定场景中的快速实验进行了优化。
开发者还可以利用 NVIDIA Megatron Bridge，在准备好进行大规模生产级训练时，将 Hugging Face 检查点转换为 Megatron 格式，以充分利用这些优化。
开始使用 GPU 加速的 Muse Spark Open
要开始使用，请从 Hugging Face 下载 Muse Spark Open NVFP4 权重。对于生产部署，请尝试可下载的 NVIDIA NIM。NIM 将设置简化为一条命令，用一个容器替代了基准测试和调优循环，该容器会自动为检测到的硬件选择最佳的服务后端和精度。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文作者：Tanya Lenz；如有侵权，请联系管理员删除。
