将编码智能体、模型定制和 CUDA(NVIDIA 并行计算平台和编程模型) 加速开发带到你的日常 PC 上

AI 智能体正在改变软件的构建方式。开发者已经从手写每一行代码,转变为指挥智能体编写大部分代码。因此,当前的工作流分散在笔记本电脑、云端模型 API(应用程序编程接口) 和云虚拟机之间。
NVIDIA RTX Spark 专为 AI 开发而打造。得益于 NVIDIA GB10 系统级芯片和大容量统一内存,开发者可以在单台 PC 上运行本地编码智能体、访问 AI 框架,并进行编码、测试和部署。
RTX Spark 笔记本电脑和紧凑型台式机让开发者能够在单台机器上完成全部工作流。
开发者可以选择在 Windows 中工作,包括与 Microsoft 共同开发的全新 Windows Developer Config,它会安装主流开发框架、静音通知、增强终端,并可将任务栏移至侧边。或者,他们可以在 Windows Subsystem for Linux 中工作,从而获得与部署到云端时相同的环境和依赖项。这使开发者能够在目标操作系统中完成所有工作,而无需迁移代码。而且,由于 RTX Spark 配备 NVIDIA GPU(图形处理器),开发者可以面向最大的本地 AI 装机基础进行测试和部署:1.5 亿台 RTX PC,以及全球几乎所有运行在 NVIDIA GPU 上的云。
凭借高达 128GB 的统一内存和 1 petaflop 的 FP4 AI 算力,开发者可以在本地运行编码模型,包括 Qwen 3.8 Flash Next,从而减少云端编码智能体的 token 消耗。
开发工作已从 CPU 密集型工作负载(性能主要由 CPU 决定)转变为 GPU 密集型工作负载。如今的 AI 开发者需要运行推理来驱动编码智能体并测试应用;进行模型微调和训练;当然,仍然还有少量编译工作。
得益于 RTX Spark 中的 NVIDIA Grace CPU 和 Blackwell GPU,这些笔记本电脑和台式机配备了推理、微调和编译所需的全部算力。与 Intel 的 Panther Lake 12Xe 相比,RTX Spark 在编码智能体上提供 4.6 倍性能,在微调上提供 2.7 倍性能,在代码编译上提供 1.8 倍性能。

NVIDIA 与 Microsoft 合作,推动 Windows on Arm 开发者生态的发展。与 RTX Spark 一同,社区正在发布多项新工具,包括首个 PyTorch-CUDA 构建版本、首个默认原生支持 Python 3.15 的 Python 版本、超过 2,000 个即用型 Conda 包,以及覆盖前 15,000 个 Python 包中超过 97% 的 Arm 兼容版本。
在 NVIDIA 硬件上开发的一个关键优势是可以访问最大的开发者工具生态系统,从编码智能体到 AI 模型,再到框架。
由于 NVIDIA GPU 是 AI 开发中使用最广泛的平台,新的工具和框架通常从第一天起就能在 NVIDIA 上运行,而对其他硬件的支持则要数周之后才会跟进。此外还可以访问 NVIDIA CUDA-X 库,包括用于 LLM(大语言模型) 加速的 FlashInfer 等工具,以及用于 AI 模型开发的 NVIDIA NeMo 库工具。
NVIDIA 还提供了一个 NVIDIA Skills 仓库,用于教导智能体如何使用 CUDA-X 库,使开发者无需深入了解 CUDA 即可构建 GPU 加速的应用程序。

RTX Spark 设备是本地编码智能体的理想选择。NVIDIA 与顶级智能体(包括 GitHub Copilot、Pi、Hermes 和 OpenClaw)密切合作,以改进它们并使其更易于使用。
这些改进包括:
通过优化的配方无缝部署本地模型
借助 NVIDIA OpenShell 和/或 Microsoft Execution Containers 增强安全性,提供操作系统级沙箱
本地与云端模型之间的混合提示路由器,使提示在本地模型足够好时发送到本地模型,或在需要时升级到云端,从而减少 token 消耗
Microsoft GitHub CoPilot 现在通过 Windows ML 实现无缝本地 AI,Windows ML 现已支持 llama.cpp 作为后端。提示路由器 HydraFusion 已升级,也支持本地模型。新的 MAI 1.1 Coding Flash 模型可以在 RTX Spark 上本地运行。
Pi 是一个开源编码智能体,具有轻量级终端界面并支持本地和云端模型,也针对 RTX Spark 进行了优化。它的扩展、技能和提示模板让开发者可以控制智能体如何融入他们的工作流,从模型选择到它可以使用的工具。
JetBrains 已推出对 RTX Spark 上 Junie Local 的原生支持。该编码智能体可以读取代码、编辑文件并运行测试,模型和代码都保留在机器上。Junie Local 根据 GPU 可用的内存来调整其上下文窗口大小,因此 RTX Spark 的统一内存让它能够在上下文中保留更多代码、工具输出和对话历史。
Nemotron 3.5 Bolt 74B-A9B 24GB 是一个新的 LLM,专为在 RTX Spark 上运行本地智能体而构建。
该模型是一个 74B 参数、9B 激活参数的混合专家(MoE)模型,通过 2-bit 量化与先进的量化感知训练技术压缩至 24GB,以保持质量。它旨在实现速度与智能之间的最佳平衡,比大多数流行的稠密模型更快,同时比大多数具有相似内存占用的流行 MoE 模型更智能。
用户可在发布时通过 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio 运行 Nemotron 3.5 Bolt 74B。它还可通过 Hermes 和 OpenClaw 等智能体直接访问。
与其他 Nemotron 模型一样,Bolt 74B 完全开源,包括训练数据、权重和配方,因此开发者可以微调和定制自己的智能体。
决策模型是 AI 开发领域的最新突破。它们为 AI 智能体提供近乎即时的决策方式,无需冗长的推理循环。它们可以选择下一步做什么,从对请求进行分类到选择下一个动作,速度比传统智能体快最多 200 倍。决策模型现已在 RTX Spark 和 GeForce RTX GPU 上的 llama.cpp 和 Unsloth 中获得支持。
NVIDIA AI for Media SDK 现已面向 RTX Spark 提供,包括支持视频超分辨率、帧生成和 TrueHDR 的 Python wheel。该 wheel 可在 PyPI 上获取,C++ SDK 也可在 NGC 上获取,适用于 RTX Spark 和 Windows on Arm。
要将现有应用程序带到 RTX Spark,首先评估 Windows on Arm 的依赖项。选择原生 Arm64 构建,或使用 Arm64EC 逐步迁移组件。测试安装、功能、性能以及你的应用所使用的 NVIDIA 和 CUDA 路径。
NVIDIA 的应用移植资源介绍了迁移选项和工具,包括如何在现有的 Windows on Arm 开发系统上开始准备工作。
RTX Spark 现已在笔记本电脑中提供,并将于 11 月推出小型台式机版本,非常适合全天候 24×7 运行智能体。
探索 RTX Spark 系统,找到您心仪的产品并查看可用的购买选项。
拥有自己的设备后,请参阅 AI 开发手册,配置 Windows、设置您的智能体并连接 NVIDIA Skills。并了解如何开始为 NVIDIA GPU 开发本地 AI 应用。
转载声明:本文为转载整理,原文版权归原作者及原站点所有。
原创地址:https://developer.nvidia.com/blog/code-test-and-deploy-on-one-machine-with-nvidia-rtx-spark/
原文作者:Elizabeth Goodman;如有侵权,请联系管理员删除。