推出 NV-Reason-CT Open 3D CT VLM，用于放射科医生思维链推理 | NVIDIA 技术博客
放射学 AI 在胸部 X 光、病理切片和 2D 扫描的异常检测方面取得了显著进展。然而，最具临床价值且数据密度最高的模态之一——3D 计算机断层扫描（CT）——在现代视觉语言模型（VLM）中仍很大程度上未被充分覆盖。前沿通用模型在体积成像上表现不佳，而大多数开放医学 AI 模型缺乏放射科医生信任和验证 AI 生成发现所需的多步对话深度。
NVIDIA 正通过 NV-Reason-CT 填补这一空白，这是一款专为 3D CT 分析打造的 VLM。NV-Reason-CT 将思维链推理扩展到完整的体积 CT，生成结构化诊断报告，模拟放射科医生的内部思维，并支持跨胸部和腹部的多步后续对话。它建立在 NV-Reason-CXR 开创的推理方法论之上，该方法已在 RSNA 2026 接收的多读者临床研究中得到验证，确认在保持诊断准确性的同时节省了放射科医生的时间。
NV-Reason-CT 是一个开放的研究与开发基础；它不是自主诊断系统，也不是已获批的临床产品。它是一个 AI 基础模型，专为构建专业 CT 分析应用的研究人员和开发者设计，以便针对其用例进行后训练。
为什么 3D CT 推理需要不同的方法
单次腹部 CT 检查可能包含 300–600 个轴位切片，编码了跨越三个空间维度的解剖上下文，而标准 2D 编码器根本无法从独立切片中重建这些信息。
这种体积复杂性为医学 AI 在感知、推理和对话深度方面带来了一系列叠加挑战：
感知：标准 VLM 将图像输入视为 2D token 网格。将 CT 体积作为独立 2D 帧的堆栈处理，会丢弃定义肿块、积液和浸润等结构的切片间空间关系——这些结构的形状、范围和密度只有在三维中才具有临床意义。
推理：即使正确感知到异常，模型通常也只输出诊断标签，而不阐明原因。放射科医生不以标签思考——他们以系统性解剖回顾、鉴别诊断和置信度来思考。无法重现这种推理过程的 AI 无法被审计、无法用于教学，也无法安全地整合到临床工作流中。
对话深度：放射科医生在审查可疑发现时不会一眼就结案。他们会提出后续问题、重新考虑鉴别诊断，并关联跨解剖区域的发现。大多数现有模型缺乏支持这种迭代临床推理的多轮对话能力。
为 CT 分析提供完整的 3D 推理
NV-Reason-CT 将专用的全 3D 视觉 Transformer（ViT）编码器与一个语言模型相结合，该语言模型经过训练以生成反映放射科医生系统性分析 CT 体积方式的思维链推理。
与通过独立处理切片来将 2D 编码器适配到 CT 的方法不同，NV-Reason-CT 将 CT 体积作为真正的 3D 输入进行处理。这保留了穿层解剖连续性，使模型能够整体地推理结构，就像放射科医生在浏览检查时所做的那样。
核心模型能力包括以下内容：
结构化报告生成：NV-Reason-CT 生成详细的结构化报告。NVIDIA 团队策划了一个 CT 本体，涵盖 30 种胸部异常和 29 种腹部异常，以指导和评估模型——例如肺结节、气胸、肝脏病变、肾囊肿等——其格式自然映射到临床文档工作流。
模拟放射科医生的思维链：NV-Reason-CT 还可以生成模拟放射科医生思维链的推理。该模型产生逐步的内部思考——系统性地检查解剖区域、呈现相关发现、考虑鉴别诊断并阐明不确定性——其风格如同经验丰富的放射科医生在分析检查时所做的那样。
多步对话后续：临床医生和研究人员可以就特定发现提出后续问题，请求对鉴别诊断的澄清，或在任何阶段探究模型的推理。这种多轮能力将 NV-Reason-CT 从报告生成器转变为交互式诊断伙伴。
全 3D ViT 编码器：专门构建的 3D 视觉编码器原生处理 CT 体积，提取基于 2D 的方法无法恢复的体积特征。此外，3D 视觉 token 网格坐标被传递给 LLM（大语言模型），通过 3D MRoPE 在 LLM 各层中考虑 token 间的空间关系。这一架构选择使模型能够推理空间范围、横截面形态和切片间关系——这是准确 CT 解读的感知基础。
NV-Reason-CT 架构如何专为体积推理而构建？
该模型架构将 Qwen3.5-4B LLM 与 3D ViT（Primus/Colipri）相结合。所有权重均在大规模队列或 CT 数据上端到端重新训练，并配有结构化报告、推理轨迹和多步 VQA（内部设计）。标准的基于 Transformer（深度学习中的注意力模型架构） 的 VLM 是为 2D 图像设计的。通过将体积展平为一系列 2D 切片来将其适配到 CT，会丢失定义体积病理的空间结构。
编码器架构改编自 Primus 3D ViT，在训练前使用 Colipri 权重初始化；它处理重采样至 192³ 体素、2 mm 各向同性分辨率的 CT 体积，使用不重叠的 8x8x8 patch token——从而产生 24x24x24 = 13,824 个视觉 token 上下文。模型不进行合并（或降采样），而是将所有视觉 token（连同其 3D 网格坐标）传递给 LLM。LLM 包含 3D MRoPE，以考虑视觉 token 的 3D 空间关系。
语言模型组件被训练为以放射科医生的风格进行推理：系统性地审查解剖区域，在记录异常发现的同时记录正常发现，表达经过校准的不确定性，并得出结构化结论。该模型被设计为不是作为分类器，而是作为教师来响应：解释问题、逐步梳理证据，并通过可见的逻辑步骤得出诊断。
NV-Reason-CT 的训练方法是什么？
在 NV-Reason-CXR 所引入方法的基础上，NV-Reason-CT 遵循两阶段训练流程：监督微调，随后是强化学习（RL）。
阶段 1：在放射科医生推理数据上进行监督微调
初始阶段在混合数据上训练模型，包括结构化报告、专家放射科医生推理标注和通用 VQA。放射科医生为 CT 研究贡献了详细的思维链口述，记录了他们的内部审阅过程，包括他们在每个解剖区域检查什么、认为哪些发现重要、权衡哪些鉴别诊断，以及如何得出最终评估。
由此产生的课程涵盖胸部与腹部区域约 550,000 个结构化 QA 示例，覆盖切面级解剖 QA、特定侧别和局部化发现的 QA、严重程度级 QA，以及二元异常识别。还纳入了针对无效提示和图文不匹配对的拒答示例，以提高鲁棒性。
训练数据包括 CT-RATE、NIH CT 数据集和 CancerVerse。该数据集补充了从大语言模型蒸馏出的高质量合成推理数据，并使用专家放射科医生标注作为 grounding 示例。合并后的数据集为模型提供了丰富信号，使其了解在广泛的 CT 发现中结构化放射学推理应呈现何种样貌。
阶段 2：用于提升推理质量的 RL
第二阶段使用 Group Relative Policy Optimization（GRPO）来优化推理质量。基于所识别异常和诊断准确性的奖励函数引导模型产生不仅结构良好而且在临床上正确的推理。GRPO 奖励具有解剖感知能力。模型在每个解剖区域内因准确性而获得强化，而不是使用单一全局信号，这改善了在整个胸腹部发现分布上的校准。
这种两阶段方法（先学习推理模式，再强化正确性）使 NV-Reason-CT 能够在 CT 表现的多样性上实现泛化，而无需为完整训练分布提供详尽标注的推理链。
基准测试结果
NV-Reason-CT 在领先的 3D CT 理解公开基准测试中取得了最先进的结果。
在 CT-RATE（3D CT 理解的主要公开基准）上，NV-Reason-CT 优于所有已发表的基线模型，包括 3D 对比模型（VoxelFM、Pillar-0、CT-CLIP、Merlin）、融合 2D/3D MLLM（ClinFusion-8B）以及基于切片的 frontier 模型（MedGemma 1.5）。这是首次有单一开放模型同时实现具有竞争力的 CT 分类和报告生成。
| 模型 | 类型 | Macro-F1 | Macro-AUROC | | --- | --- | --- | --- | | NV-Reason-CT | 原生 3D 生成式 VLM | 0.614 | 0.871 | | VoxelFM | 仅 3D 图像预训练 | 0.581 | 0.870 | | Pillar-0 | 3D 对比 | 0.544 | 0.861 | | ClinFusion-8B | 融合 2D/3D 生成式 MLLM | 0.442 | n/r | | CT-CLIP | 3D 对比 | 0.398 | 0.733 | | Merlin | 3D 对比 | 0.358 | 0.662 | | MedGemma 1.5 | 最多 85 个轴位切片 | 0.303 | n/r |
除基准性能外，NV-Reason-CT 还获得了美国国立卫生研究院（NIH）放射科医生的积极临床评价，他们验证了结构化报告的质量以及思维链推理轨迹的临床合理性。
“NV-Reason-CT 提供了那种系统性的、逐步推理，反映了我们实际思考 CT 研究的方式，”美国国立卫生研究院高级临床医生、医学博士、F.S.A.R. Baris Turkbey 表示。“能够审查模型的思考过程——而不仅仅是其结论——正是让人有可能信任其发现并据此采取行动的原因。”
临床验证与实际影响
NV-Reason-CT 的价值超越了基准分数。审查过该模型输出的放射科医生和临床研究人员一致强调了使其区别于早期 CT AI 系统的两项能力：
结构化报告中的时间节省：生成一份涵盖 60 多种异常的详细结构化报告非常耗时，即使对经验丰富的放射科医生也是如此。NV-Reason-CT 可在数秒内生成此输出，其推理可供临床医生快速浏览、验证和修改——在保留放射科医生监督的同时，减轻常规报告的认知负担。
支持审计的可解释性：传统医学 AI 模型输出标签或分数。NV-Reason-CT 输出其推理过程。这使模型的结论能够以黑盒系统无法做到的方式接受审计：放射科医生可以阅读思维链，识别模型推理与其自身推理一致之处，并标记分歧之处。这正是临床采用所需的透明度。
NV-Reason-CT 如何帮助研究和医学 AI？
NV-Reason-CT 旨在成为一个基础，供更广泛的医学 AI 社区在其上构建。
研究人员可以使用模型检查点和后训练配方来研究医学影像中的思维链推理，在机构特定的 CT 数据集上进行微调，或将 NV-Reason-CT 集成到多模态研究流程中。用于分割和 SDG 的补充模型包括 NV-Generate-CTMR 和 NV-Segment-CTMR。
医学 AI 公司，包括放射学工作流供应商、PACS 开发者和临床决策支持平台，可以针对特定临床应用调整 NV-Reason-CT。这使得将结构化 CT 推理集成到现有放射学审查工作流中成为可能。Aidoc、HOPPR、Rad AI、Mosaic Clinical Technologies 和 Raidium 等公司所处的领域，正需要一个能力强大、开放、对话式的 3D CT 模型来填补真实的能力空白。
NV-Reason-CT 运行与输出示例
以下示例加载 NV-Reason-CT，并对一个 3D CT 体积执行一次推理过程。检查点可从 Hugging Face 获取。GitHub 仓库包含推理脚本、训练配置和后训练配方。
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_name = "nvidia/NV-Reason-CT"
model = AutoModelForImageTextToText.from_pretrained(
model_name,
trust_remote_code=True,
attn_implementation="sdpa",
torch_dtype=torch.float16,
).eval().to("cuda")
processor = AutoProcessor.from_pretrained(model_name, trust_remote_code=True)
messages = [
{
"role": "user",
"content": [
{"type": "image"},
{"type": "text", "text": "full chest CT reasoning analysis"}
]
}
]
# Create prompt using chat template
text = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=False,
enable_thinking=True
)
# Process inputs
inputs = processor(
text=prompt,
images3d=["chest_ct.nii.gz"],
anatomy_region="chest",
return_tensors="pt",
).to(model.device)
# Generate chain-of-thought reasoning and structured report
with torch.inference_mode():
generated_ids = model.generate(
**inputs,
max_new_tokens=4096,
do_sample=False,
use_cache=True,
)
# Decode
new_tokens = generated_ids[:, inputs.input_ids.shape[1]:]
response = processor.batch_decode(
new_tokens,
skip_special_tokens=True,
clean_up_tokenization_spaces=False,
)[0]
print(response)输出摘录
I will review the CT volume systematically, use the valid technique context, identify the key imaging findings, and then provide the final labels.We are going to review this IV contrast-enhanced CT of the chest in a systematic way. First, one important technical and support-device detail: there is a left-sided port catheter, and the catheter tip terminates in the superior vena cava, which is an expected central venous position. I will begin with the lungs and airways. The central airways are patent, so there is no major tracheal or main bronchial occlusion. However, when we come down into the right lung, the right lower lobe is the dominant abnormality. There is a large mass-like process in the right lower lobe, and it is associated with partial collapse of the right lower lobe. This is a meaningful finding because a mass with postobstructive or associated volume loss is concerning for a malignant process. There is also an additional mass-like lesion in the right lower lobe [...]. So overall, the dominant thoracic finding is a large right lower lobe mass-associated partial collapse, with additional right lower lobe mass-like disease and bulky mediastinal and right hilar adenopathy. The pattern is concerning for thoracic malignancy with nodal involvement. There are also scattered bilateral ground-glass opacities that remain nonspecific and could be inflammatory, infectious, or neoplastic. In addition, there is lytic lower thoracic spine disease with moderate spinal stenosis and a few indeterminate right rib sclerotic lesions.
NV-Reason-CT 如何融入 NVIDIA Medical AI 生态系统
NV-Reason-CT 是 NVIDIA Medical AI 开放医学 AI 模型家族的一部分，旨在跨放射学流程协同工作：
NV-Generate-CTMR ：为训练数据增强和研究合成逼真的 3D CT 和 MRI 体积
NV-Segment-CTMR ：从 3D CT 和 MR 体积中自动分割器官和病灶
NV-Reason-CXR ：用于胸部 X 射线分析的思维链推理
NV-Reason-CT ：用于完整 3D CT 分析的思维链推理
这些模型共同为端到端放射学 AI 流程提供了构建模块——从合成数据生成，到分割，再到透明、对话式的临床推理。
探索 NVIDIA Medical AI 生态系统以了解更多信息。
开始使用 NV-Reason-CT 进行放射科医生思维链推理
NV-Reason-CT 将思维链推理带入医学中信息密度最高的模态之一。通过将专用的完整 3D ViT 编码器与经过推理训练的语言模型相结合，该系统可为 CT 体积生成结构化诊断报告和逐步的放射科医生式思考——覆盖胸部和腹部发现，并支持多轮对话。
转载声明：本文为转载整理，原文版权归原作者及原站点所有。
原文作者：Tanya Lenz；如有侵权，请联系管理员删除。
