NVIDIA Nemotron 3.5 Super VL 以多模态推理赋能专用智能体 | NVIDIA 技术博客
常驻智能体正在承担更长、更复杂的企业工作流。单个请求可能涉及读取文档、跨来源核对信息、遵循公司政策以及调用多个工具。
NVIDIA Nemotron 3.5 Super VL 是一个开放、可定制的多模态模型，专为这些专门化工作流而设计。其 120B 参数的混合专家（MoE）架构每个 token 激活 12B 参数，在模型容量与推理效率之间取得平衡。
在单个 GPU（图形处理器） 上，该模型针对智能体任务的吞吐量最高可达同规模类别中其他开放模型的 5 倍。
该模型将推理、指令遵循和工具使用与文本、图像、文档及视频理解相结合。通过将这些能力整合到一个模型中，团队可以处理文本和视觉任务，而无需分别部署文本模型和视觉语言模型，也无需在它们之间传递任务上下文。
开发者可以使用 NVIDIA NeMo 结合自有数据、工具、策略和工作流对 Nemotron 3.5 Super VL 进行后训练。本文介绍如何利用该基础构建专门化的企业智能体，并描述支撑其运行的训练和推理技术。
为什么选择 Nemotron 3.5 Super VL 构建专门化智能体？
智能体需要同时理解其任务和运行环境。客服智能体必须遵循公司退货政策。研究智能体跨来源关联证据，而文档智能体则解读表格、图表和页面布局。
Nemotron 3.5 Super VL 在一系列智能体工作流中结合了推理与视觉理解能力，包括：
编码：测试和验证代码、分析错误并建议修复方案。
网络研究：跨网站搜索、关联信息并验证答案。
文档智能：从表格、图表和页面布局中提取信息，生成摘要和报告。
网络安全：识别安全漏洞并对威胁进行分诊，以确定修复优先级。
视频理解：提取信息用于搜索、内容审核和事件分析。
在模型系统中，Nemotron 3.5 Super VL 处理需要同时运用推理、工具使用以及文本和视觉理解的专门化多步骤工作。较小的模型（如 NVIDIA Nemotron 3.5 Lightning）处理高吞吐量文本任务，而前沿模型（如 NVIDIA Nemotron 3 Ultra）则负责复杂规划和编排。
针对领域数据、工具和策略定制 Nemotron 3.5 Super VL
专门化智能体必须了解组织的运作方式。领域术语、工具接口、操作流程和政策要求决定了智能体如何成功完成任务。
从网络安全、金融到医疗等各行各业的组织正在对 Nemotron 3.5 Super VL 进行后训练，使其在生产工作流中的准确性和效率超越前沿模型。例如：
AI 数据与技术提供商 Scale AI 为媒体和娱乐公司 Skydance Corporation 的自动化供应商信用处理对 Nemotron 3.5 Super VL 进行了后训练。该工作负载的推理成本将降低 40 倍，延迟降低 5 倍。
金融运营平台提供商 Ramp 正在将收据图像转换为包含商户信息、日期和支付数据的结构化 JSON。Ramp 预计吞吐量提升高达 50%，延迟降低 10 倍。
AI21 和 Alice 对 Nemotron 3.5 Super VL 进行了后训练，用于威胁情报和漏洞分析，准确率提升了 41%。
团队可以使用 NVIDIA NeMo 开源库对模型进行后训练以满足这些需求。开发者可以使用 NVIDIA NeMo AutoModel 进行监督微调（SFT）和低秩适配（LoRA），以教授领域特定行为。强化学习（RL）可提升在反映组织工作流的智能体环境中的性能。
除 Nemotron 3.5 Super VL 外，NVIDIA 还在 Hugging Face 上发布了开放数据集。这些数据集包括智能体工具使用和对话数据、金融推理和工具调用数据集、指令遵循和聊天数据、长上下文转换和翻译数据、公平性数据，以及 40 个视觉语言数据集。这些数据集可以补充专有数据，用于 SFT 和 RL。
对于多模态数据，请从 NeMo Data Designer 资源开始，用于图表问答和长文档理解。探索 NVIDIA NeMo RL 和 NVIDIA NeMo Gym 以进行 RL 和基于环境的评估。
组织可以在支持的本地、数据中心或云环境中调整和部署模型的开放权重，以满足其基础设施和数据需求。有关定制资源，请参阅 GitHub 上的 Nemotron 3.5 Super VL 使用手册。
在一个工作流中结合文本和视觉理解
Nemotron 3.5 Super VL 将文本、图像、文档和视频理解与推理和指令遵循相结合，以跨这些输入回答问题。
其视觉训练涵盖图表、表格、光学字符识别（OCR）、多页文档和视频理解。两阶段 SFT 流水线训练语言和视觉组件，将视觉证据与推理、聊天、安全、长上下文数据和智能体轨迹相结合。
对于文档智能，同一模型可以解读图表，将其与文档中其他位置的表格关联，并对两者进行总结。开发者可以根据自己的文档和评估标准定制工作流。
使用 NeMo Data Designer 生成的多样化训练数据帮助模型更好地理解复杂图表。在图表推理基准 CharXiv 上，该模型得分为 80.8%，而 Nemotron 3 Nano Omni 为 63%。结合 Python 代码解释，得分达到 84%。有关方法和经验教训，请阅读图表理解深度解析和开源图表问答流水线。
该模型在 Nemotron Coalition 组织的支持和专业知识下构建。例如，来自 Perplexity 的高质量数据集帮助改进和简化了模型的中期训练。来自 Prime Intellect 的环境使得构建更好的教师模型成为可能。
Nemotron 3.5 Super VL 也是 OCRBench v2 排行榜上排名靠前的开源模型之一。
智能体任务中的准确性与效率
对 Nemotron 3.5 Super VL 的评估涵盖 Hermes、LangChain、OpenClaw、OpenCode、Pi、Codex 和 Claude。除编码任务外，智能体框架提供商还使用各自的评估来测试广泛的智能体任务。在 Hermes Bench 和 LangChain 行为评估中，Nemotron 3.5 Super VL 的得分高于 Nemotron 3 Ultra。
| 模型 | Hermes Bench | LangChain Evals | | --- | --- | --- | | Nemotron 3 Ultra | 56.33% | 84.3% | | Nemotron 3.5 Super VL | 63.44% | 87.05% |
对于常驻智能体，效率决定了部署能够完成多少工作。吞吐量、token 用量、工具调用次数以及达到正确结果所需的步骤都会影响任务完成时间。
该模型还针对在 NVIDIA DGX Spark 上本地运行进行了优化。EXO Labs 的一项独立评估将 Nemotron 3.5 Super VL 置于准确性和任务完成时间的帕累托前沿。
Nemotron 3.5 Super VL 技术解析
该模型建立在强大的基础之上，采用混合架构、推测解码、上下文复用和混合精度，以减少重复智能体调用中的推理工作量。
构建强大的基础模型
Nemotron 3.5 Super VL 从 Nemotron 3 Ultra 蒸馏而来。Ultra 的编码能力，结合蒸馏过程中使用的 SkewReverse 损失，帮助提升了编码准确性。
在后训练阶段，多教师同策略蒸馏（MOPD）整合了来自文本和视觉领域专业教师的指导。模型生成响应，教师对其在视频推理与跟踪、视觉工具使用和对齐方面进行评分。
针对智能体动作、代码仓库和软件工程任务示例的额外训练提升了模型在智能体任务上的表现。在多种评估设置下，Nemotron 3.5 Super VL 在 SWE-bench 和 Terminal-Bench 上的表现均优于 Nemotron 3 Super。
使用高质量自然数据和合成数据进行持续预训练，提升了印度语言能力，并在后训练后贡献了更高的整体分数。此阶段添加了 10B 印度语言 token，取自 Nemotron-pretraining-Indic-v1 的 12 种语言子集和自然印度语文本。
NVIDIA 正在发布完整数据集，该数据集包含约 2.8T token，覆盖 22 种印度语言，由 IIT Madras 及其 AI4Bharat 实验室共同开发。以下结果基于后训练的 Nemotron 3.5 Super VL。
开发者可以使用 NeMo 在此基础之上进行构建，并针对其应用定制 Nemotron 3.5 Super VL，将其推理和智能体能力适配到自己的数据、工具和工作流中。
LiLiCorr：一种开放的推测解码技术
LiLiCorr 通过联合评估整个草稿中的 token 候选，改进了并行推测解码，捕捉独立 token 预测所遗漏的依赖关系。一个轻量级网络在单次前向传递中计算兼容性分数，以生成更连贯的草稿，仅保留低成本的顺序最终选择步骤。
在 DGX Spark 上，LiLiCorr 是使用 Nemotron 3.5 Super VL 进行低延迟推理的推荐草稿器。与不使用推测的解码相比，它将 token 生成速度提升最高 2.3 倍。
NVFP4 与混合精度
该模型使用 NVIDIA Model Optimizer 进行训练后量化和量化感知蒸馏（QAD）。NVFP4 方案在 NVIDIA Blackwell 架构上使用 4 位权重和激活。相同的检查点在非 Blackwell 平台上以 4 位权重和 16 位激活运行。敏感组件单独选择精度。
NVFP4 使模型更小，而 QAD 帮助其在较低精度下保持准确率。在 QAD 期间，量化模型学习匹配原始 BF16 模型的输出，从而弥合量化引入的准确率差距。QAD 还支持将键值（KV）缓存以 NVFP4 而非 FP8 存储，同时仍满足准确率目标。由于 QAD 在训练期间进行，它不会增加推理开销。
多 token 预测
多 token 预测（MTP）为 Nemotron 3.5 Super VL 提供了一个内部草稿器，它提出多个 token 供主模型在一次前向传递中验证。一次接受多个 token 减少了生成响应所需的计算密集型验证步骤数量。
专门的 MTP 增强训练阶段进一步使草稿器与最终模型对齐。
跨智能体轮次的上下文复用
智能体会反复将系统指令、工具定义和对话历史传回模型。前缀缓存可复用这些共享输入的计算结果。
模型的推理服务优化同时保留注意力缓存和 Mamba 循环状态。额外的 Mamba 检查点减少了为投机解码恢复输入所需的重放，而内部检查点机制则避免了提示处理期间的额外模型前向计算。
使用 NVIDIA NIM 和 NVIDIA Dynamo 简化生产部署
NVIDIA NIM 将模型与优化推理引擎、经验证的配置以及标准 API 打包在一起，用于云和数据中心部署。NIM 持续获得安全、功能和性能更新。企业支持可通过 NVIDIA AI Enterprise 获取。开始使用 NIM。
NVIDIA Dynamo 支持分布式推理优化，以提高吞吐量并降低延迟，包括 KV 缓存感知路由、KV 缓存管理和分离式服务。
在 16 块 NVIDIA B200 GPU 上，以每用户每秒 50 个 token 的速率，结合会话亲和性的 KV 感知路由和 KV 缓存卸载可服务多达 8 倍的用户，同时将首 token 延迟降低 85%。开始使用 Dynamo 部署配方。
开始使用 Nemotron 3.5 Super VL
构建具备多模态推理和工具使用能力的专用智能体。针对专用工作流定制模型，然后在受支持的环境中部署。
该版本包含基础、后训练和 NVFP4 量化检查点，以及训练配方、数据和强化学习环境。
有关模型详情，请参阅 Nemotron 3.5 技术报告；有关部署说明，请参阅 Hugging Face 或 ModelScope。如需托管模型访问，请参阅 OpenRouter。
合作伙伴生态
合作伙伴支持 Nemotron 3.5 Super VL 的定制与部署，以满足特定领域的工作流需求。
AfterQuery
AgileRL
AI21
Alice
Applied Compute
Baseten
Bespoke Labs
Databricks
distil labs
Fastino Labs
Fireworks AI
Handshake
Mercor
Mindbeam
ms-swift
Multiverse Computing
Prime Intellect
Reasonable
River AI
Scale AI
Thinking Machines Lab (Tinker)
TNG
Trajectory
Actual Computer
Canonical
Exo
LM Studio
Ollama
SGLang
Unsloth
vLLM
Aible
Cline
Hermes Agent（智能体）
Kilo Code
LangChain
LM Studio Bionic
OpenClaw
OpenCode
OpenHands
Pi
Amazon SageMaker JumpStart
Google Cloud Gemini Enterprise Agent Platform
MSFT Foundry
OCI Enterprise AI
HCLTech
Infosys
Tata Consultancy Services
Thoughtworks
Dell
HPE Services
Red Hat
APMIC
Cognition
Daily
Domyn
Dream
Eon
Factory AI
H Company
Harvey
Inflection AI
Navan
NextLM
NYB.AI
Orca Security
Perplexity
Ramp
Terray
Two Delta
Versos
Baseten
Bitdeer AI
BLACKBOX.AI
CoreWeave
Crusoe
DeepInfra
DigitalOcean
fal.ai
Fireworks AI
FriendliAI
GMI Cloud
Lambda
Modal
Nebius
Nscale
Together AI
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文作者：Michelle Horton；如有侵权，请联系管理员删除。
