实测记录
做医疗影像 AI 的人可能都有同感:算法本身往往不是最卡脖子的环节,数据怎么稳定、低延迟地送到算力平台,才是真正让人头疼的地方。
一台超声设备输出的原始射频数据,一帧就是几十 MB 的量级;手术室里两三路术野相机加一路内窥镜,画面要同步进推理管线;还要考虑设备和算力主机能不能分开放、电磁环境干不干净。这些问题叠在一起,很多团队就卡在了"数据进得来、跑得动"这一步,还没轮到调模型。
我们最近围绕 NVIDIA Holoscan 生态做了一套端到端的链路验证,核心就是 Holoscan Sensor Bridge(HSB)。这篇文章把我们在实际运行场景里的做法、踩过的点、以及这套方案能用在哪儿,一次性说清楚。
先解释一下 HSB 是干什么的。
Holoscan Sensor Bridge,看名字就知道,它是 Holoscan 生态里的"传感器桥接模块"。传感器信号不是随便就能进 GPU 算力平台的——相机有相机的协议、超声前端有超声前端的接口,各有各的私有驱动,联调起来非常痛苦。HSB 做的事情,就是把传感器这一侧的异构信号统一接进来,转成 Holoscan 框架能直接消费的数据流。
硬件层面,HSB 搭载 Altera FPGA,具备 100GbE 高速接口(具体到板卡上是 QSFP28 百G光口,旁边还有 SFP+ 万兆光口)。信号进来之后由 FPGA 做硬件转发,不经过 CPU 拷贝,数据直接往 GPU 方向送,延迟能压得很低。
这里多说一句接口的事。很多朋友问 HSB 上那个小口子是什么——就是 SFP+ 插槽(读作 S-F-P plus),用来插万兆光模块走光纤的。旁边那个大一点的是 QSFP28,100G 口。光纤传输的好处不用多讲:带宽大、抗干扰、设备跟算力主机可以拉很远的距离,这在手术室这类场景里是实打实的刚需。
纸上谈兵没用,我们直接在桌面搭了一套原型验证环境:PTZ 摄像机通过 HSB 接入算力板卡(Jetson Orin 系列),再往下接显示终端,旁边一台调试笔记本盯着链路状态。
整套链路跑起来之后有两个状态可以切换:
从"看到原图"到"看到 AI 处理后的结果",这条采集-传输-推理-显示的全链路就闭环了。别小看这个闭环,很多项目死在中间某一环——信号格式不对、带宽不够、驱动不兼容,都有可能导致整条链路跑不通。桌面环境能快速验证,正是它作为原型调试载体的价值。
第一个比较有代表性的演示,是把超声原始数据直接送进 AI 管线。
链路是这样的:德州仪器(TI)的 AFE5932EVM 超声评估模块输出原始射频数据,经由搭载 Altera FPGA、具备 100GbE 高速接口的 HSB,直接输送至 NVIDIA IGX T7000 做实时 AI 处理。
为什么强调"原始数据"?传统做法通常是超声前端自己出图像,再把图像送去做后处理。Raw-to-Insights 的意思是跳过中间重建环节,让原始数据直接进 AI 推理流水线。这意味着算法有更大的发挥空间,也意味着数据带宽需求上了一个台阶——这时候 HSB 的 FPGA 硬件转发和百G光口就派上用场了。
算力端 IGX T7000 的性能参数值得列一下:基于 Blackwell 架构的集成 GPU(iGPU),支持选配独立显卡 dGPU,最高可输出 5581 FP4 TFLOPS 的 AI 算力;搭配企业级软件栈和功能安全设计,边缘侧可以同时跑多个生成式 AI 模型。对超声这种高带宽数据流来说,这个算力余量是够的。
第二个演示解决的是多路图像源的问题。
通过 SC750N101 采集卡接入多路实时摄像机画面。这张卡内置硬件图像信号处理器(ISP),支持子帧级(Sub-frame)超低延迟输出,还有故障转移(Failover)冗余备份机制——也就是说某一路出问题的时候,链路能顶上去,不会整个断掉。卡通过 PCIe 接口对接 HSB,把 RAW 原始数据和 YUV 图像流高效送进系统。
这一路重点验证的是多源视频流的低延迟处理、时间同步和数据融合。依托灵活的 Video Switch(视频切换)传输架构,多路异构图像源可以在同一套高可靠流程里协同工作。对应到实际感受就是:几路画面时间对齐、融合推理、实时可视化,一套系统里全跑完,不需要自己东拼西凑。
这套东西不是炫参数,核心价值在于把"从传感器到 AI 洞察"的链路做成了标准件。医疗影像系统开发最怕的就是每个项目从零开始拼数据通路,HSB + IGX + 采集卡这套组合,等于把最脏最累的活提前干完了。
目前我们已经在桌面环境完整跑通了原始回显和 AI 渲染两条链路,接下来会往超声原始数据和多路图像融合的真实业务场景继续验证。
来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70050123/viewspace-3187687/ ,如需转载,请注明出处,否则将追究法律责任。