ITPub博客

首页 > 人工智能 > 人工智能 > NVIDIA RTX Spark 为游戏中的神经渲染和 AI 角色提供支持 | NVIDIA 技术博客

NVIDIA RTX Spark 为游戏中的神经渲染和 AI 角色提供支持 | NVIDIA 技术博客

人工智能 作者:ITPUB社群 时间:1970-01-01 08:33:46 0 删除 编辑

NVIDIA RTX Spark 是一个全新的 Windows PC 平台,面向轻薄笔记本电脑和紧凑型台式机中的 AI 开发、创作和游戏。它由 NVIDIA Blackwell RTX GPU(图形处理器) 和 NVIDIA Grace CPU 驱动,将高达 128 GB 的统一内存与完整的 NVIDIA CUDA(NVIDIA 并行计算平台和编程模型) 栈以及包括光线追踪和 DLSS 5 在内的 RTX 技术相结合。

本文介绍以下面向在 RTX Spark 上构建游戏的开发者的技术:

  • DLSS 技术套件,可提升 FPS 并改善图像质量

  • NVIDIA ACE 更新,用于实现响应迅速的设备端 AI 角色

  • RTX Kit SDK(软件开发工具包),用于神经渲染、几何和角色渲染

  • NVIDIA Nsight 工具,用于优化和调试原生 Arm64 和 x64 应用程序

  • NVIDIA RTX Branch of Unreal Engine 5.8,用于将 RTX 技术集成到你的 Unreal Engine 项目中

  • MotionBricks 更新,用于人体角色运动

RTX Spark 上的 DLSS

在支持的游戏中,RTX Spark 受益于全套 DLSS 技术,包括超分辨率、光线重建、动态多帧生成和 3D 引导神经渲染。

DLSS 超分辨率从较低分辨率的输入重建帧,以提升性能。DLSS 光线重建生成额外像素,以增强光线追踪场景。DLSS 动态多帧生成可在每个渲染帧之外额外生成最多 5 帧,并自动调整倍率以最大化流畅度。

最新的 NVIDIA app 测试版还为帧生成带来了更快的性能模式(Preset C),但在图像质量上有轻微取舍。

DLSS 5 将 3D 引导神经渲染带到 RTX Spark

搭载 3D 引导神经渲染的 DLSS 5 在 NVIDIA RTX Spark 上获得支持,首发游戏为 NBA 2K27。

10 月的模型更新运行速度比 9 月版本快 2 倍,并将 GPU 开销减半,同时保持相当的视觉保真度。它还将 4K 下的 VRAM 使用量降低了 20%。该模型将在未来的 DLSS 5 游戏中默认提供。

对于开发者,DLSS 5 在图形管线中增加了一个最终阶段,用于增强光照和材质细节。引擎渲染的帧(包括美术设计的几何、纹理和光照缓冲区)仍是基础,而开发者控制项决定哪些内容可以改变。Avalanche Software 利用 DLSS 5 的 SDK 控制项来调整集成,以保持游戏的艺术意图和风格。

在此处阅读完整的 DLSS 5 更新。

DLSS 4.5 Unreal Engine 插件

更新后的 NVIDIA DLSS 4.5 Unreal Engine 插件为开发者提供了强大的工具,可呈现更锐利的图像和更流畅的游戏体验。其用于超分辨率(Super Resolution)的第二代 Transformer(深度学习中的注意力模型架构) 模型提升了图像稳定性、抗锯齿效果和视觉清晰度,而光线重建(Ray Reconstruction)则增强了光线追踪图像质量。

在受支持的 GeForce RTX 50 系列和 RTX PRO Blackwell GPU 上,动态多帧生成(Dynamic Multi Frame Generation)会随工作负载变化调整帧生成倍率,其中 6x 多帧生成可为每个渲染帧额外生成最多五帧。

插件版本 8.9.0 的一项关键新增功能是正式支持 Unreal Engine 5.8 的 Windows on Arm (WoA)。原生 ARM64 二进制文件以及对构建和打包 UE 5.8 应用程序的支持,为开发者提供了一条受支持的途径,将启用 DLSS 的项目带到 RTX Spark 系统。除了更新 Streamline 和 NGX 组件并修复 UE 5.8 帧生成问题外,此版本还扩展了插件的平台覆盖范围,并帮助开发者为其应用程序做好 RTX Spark 的准备。

NVIDIA ACE 推出 Nemotron 3.5 Bolt,用于端侧 AI 角色

NVIDIA ACE 是我们用于创建游戏内 AI 智能体、提供下一代游戏体验的技术套件,今年我们分享了两项令人兴奋的展示:

  • PUBG 在公开测试中推出了由我们的第一代 Nemotron 小语言模型 (SLM) 驱动的 AI 队友。它帮助新玩家拿下首场吃鸡,并在社交媒体上产生了病毒式传播的片段。

  • Aniimo 首次展示了我们更高效的第二代 Nemotron SLM,将标准游戏内宠物转变为能响应你声音的响应式 AI 伙伴。玩家可以查看宠物的情绪或教它们新把戏,这将在 2027 年初发布时带来全新层次的沉浸感。

更多智能,更少内存

Nemotron 3.5 Bolt E4B 4GB 现已可用。在相关基准测试中,该模型相比我们之前的模型平均质量提高约 40%,并且与同类模型相比输出的 token 最多减少约 80%。

它专为支持更丰富、更快的游戏内角色交互而构建,具备强大的对话能力、自主多轮工具使用、指令遵循以及与游戏状态的关联,所有这些都在 GeForce RTX 和 RTX Spark 上本地运行。

Nemotron 3.5 Bolt E4B 4GB 专为实现每 GB 内存的最大智能和速度而设计,可提供响应迅速的本地体验,同时为图形渲染和本地语音模型保留余量。主要功能包括:

  • 多轮工具使用:调用应用程序编程接口(API(应用程序编程接口))在对话中执行任务,并提供异步工具调用的集成指导

  • 对话模式:切换以鼓励简洁、适合语音的响应,实现自然的来回交互。

  • 可配置推理:为复杂请求启用推理,或为更快响应禁用推理,并提供集成选项以限制思考以满足延迟目标。

  • k 上下文:容纳对话历史、指令、工具定义、检索信息和游戏状态。

  • 多语言能力:支持 35 种语言,基于在 140 多种语言上预训练的基础模型构建。

开始使用 NVIDIA ACE

Nemotron 3.5 Bolt E4B 4GB 可通过游戏内推理 (IGI) SDK 供开发者使用。

要在游戏中测试它,请查看 SkyrimNET,这是由 MinLL 为《上古卷轴 V:天际》开发的 AI NPC 模组平台。SkyrimNET 将每个 NPC 转变为无脚本的交互式角色,具备个人记忆、语音和自主性,支持动态对话和即时生成的上下文感知任务。该平台支持跨多个语言模型的云端和本地推理。

  • 下载 SkyrimNET 插件:GitHub Repository

  • 下载 ARM 支持的加载器:Mod Organizer Release

NVIDIA RTX Kit 将神经渲染 SDK 引入 RTX Spark

NVIDIA RTX Kit 将神经渲染、复杂几何体和逼真角色渲染引入游戏开发。八项 RTX Kit 技术已发布并支持 RTX Spark:

  • RTX Neural Texture Compression (NTC):使用 AI 缩小纹理存储,同时保持与传统块压缩相当的视觉保真度。

  • RTX Texture Filtering:在着色后使用随机纹理采样来减少伪影并提升图像质量,包括处理困难的体积。

  • RTX Neural Shaders:让开发者训练神经网络并在着色器内运行,以实现新的资产压缩和近似技术。

  • RTX Mega Geometry:加速基于集群几何体的包围体层次结构 (BVH) 构建,帮助开发者光线追踪更多三角形并提升复杂场景中的性能。

  • NVIDIA Real-Time Denoisers (NRD):为漫反射和镜面光照及阴影提供降噪器,从低每像素光线输入生成更干净的图像。

  • RTX Character Rendering:提供使用路径追踪渲染基于发丝和皮肤的工具,包括次表面散射和 Blackwell 加速的毛发图元。

  • RTX Global Illumination (RTXGI):为光线追踪和路径追踪应用提供多种高效间接光照技术。

  • Opacity Micro-Maps (OMM):通过高效编码微三角形和微网格的不透明度状态,加速高细节几何体的光线追踪。

优化和调试 RTX Spark 应用程序

NVIDIA Nsight 工具从第一天起就支持 RTX Spark,支持跨原生 Arm64、模拟 x64 和 Arm64EC 应用程序的图形开发者工作流。

Nsight Graphics 让开发者捕获、检查和性能分析单个帧,检查每个绘制调用、着色器和资源,以诊断渲染错误并调优 GPU 性能。Nsight Graphics 2026.3 版本为 RTX Spark 系统引入了新的 Windows on Arm 安装程序,支持原生 Arm64 目标应用程序以及模拟 x64 和 Arm64EC 目标。

Nsight Systems 提供应用程序性能的系统级视图,在单一时间线上关联 CPU 线程、GPU 工作负载、API 调用和内存活动,使开发者能够精确定位瓶颈并平衡整个平台的工作负载。从 Nsight Systems 2026.5 开始,适用于所有 Windows 版本的单一安装程序同时支持原生 Arm64 和模拟应用程序。

Nsight Aftermath 通过生成详细的崩溃转储来帮助团队解决 GPU 崩溃和挂起问题,这些转储显示 GPU 在故障时刻正在执行的操作,无论是在开发期间还是在现场。Nsight Aftermath SDK 2026.3 包含 Windows on Arm 版本,可集成到原生 Arm64 应用程序中。来自模拟 x64 应用程序的崩溃转储将继续通过 x64 版本的 SDK 按预期工作。

  • 在此处下载适用于 RTX Spark 的 Nsight Graphics

  • 在此处下载适用于 RTX Spark 的 Nsight Systems

  • 在此处下载适用于 RTX Spark 的 Nsight Aftermath SDK

Unreal Engine 5.8 的 NVIDIA RTX 分支

Unreal Engine 5.8 的 NVIDIA RTX 分支(NvRTX 5.8)的发布为开发者提供了一个更新的基础,可将高级光线追踪和神经图形引入 UE 5.8 项目。本次更新侧重于代码库重构、稳定性和兼容性改进。开发者可以通过 GitHub 访问该分支源代码,以便为其游戏和应用程序集成和自定义 NVIDIA RTX 技术。

使用 MotionBricks 简化运行时角色动画

MotionBricks 是一项用于实时生成角色运动的开源研究。开发者无需手动编写每个过渡并将其接入日益复杂的动画图,而是通过目标姿势引导运动。MotionBricks 在运行时生成连接运动,并随着玩家输入或游戏事件的变化进行调整。论文 GitHub

该模型支持对速度、方向和运动风格的控制,以及诸如坐下和拾取物体等姿势引导的交互。这些能力让开发者能够通过统一的基于姿势的接口构建多样化的角色行为。原始研究演示展示了这些行为在 Unreal Engine 中协同工作。研究演示

本次更新在此工作基础上增加了:

  • 新的 SOMA 人体运动模型,以及现有的 G1 机器人模型。

  • 可下载的检查点、ONNX 导出以及供开发者构建自有集成的导出工具。

  • 使用 Newton 构建的交互式参考实现,展示姿势引导的人体和机器人运动。

MotionBricks 以研究代码和模型的形式提供。研究演示中展示的 Unreal Engine 集成不包含在此版本中。


转载声明:本文为转载整理,原文版权归原作者及原站点所有。

原文来源:NVIDIA Developer Blog

原创地址:https://developer.nvidia.com/blog/nvidia-rtx-spark-powers-neural-rendering-and-ai-characters-in-games/

原文作者:Elizabeth Goodman;如有侵权,请联系管理员删除。

请登录后发表评论 登录
全部评论

注册时间:2022-11-21

  • 博文量
    1255
  • 访问量
    560906