ITPub博客

首页 > 人工智能 > 人工智能 > 把超声原始数据直接喂给 AI?聊聊我们实测的 Holoscan Sensor Bridge(HSB)

把超声原始数据直接喂给 AI?聊聊我们实测的 Holoscan Sensor Bridge(HSB)

原创 人工智能 作者:visionspace 时间:2026-11-05 11:05:25 0 删除 编辑

 

实测记录

        做医疗影像 AI 的人可能都有同感:算法本身往往不是最卡脖子的环节,数据怎么稳定、低延迟地送到算力平台,才是真正让人头疼的地方。

        一台超声设备输出的原始射频数据,一帧就是几十 MB 的量级;手术室里两三路术野相机加一路内窥镜,画面要同步进推理管线;还要考虑设备和算力主机能不能分开放、电磁环境干不干净。这些问题叠在一起,很多团队就卡在了"数据进得来、跑得动"这一步,还没轮到调模型。

        我们最近围绕 NVIDIA Holoscan 生态做了一套端到端的链路验证,核心就是 Holoscan Sensor Bridge(HSB)。这篇文章把我们在实际运行场景里的做法、踩过的点、以及这套方案能用在哪儿,一次性说清楚。

HSB 到底解决什么问题

        先解释一下 HSB 是干什么的。

        Holoscan Sensor Bridge,看名字就知道,它是 Holoscan 生态里的"传感器桥接模块"。传感器信号不是随便就能进 GPU 算力平台的——相机有相机的协议、超声前端有超声前端的接口,各有各的私有驱动,联调起来非常痛苦。HSB 做的事情,就是把传感器这一侧的异构信号统一接进来,转成 Holoscan 框架能直接消费的数据流。

        硬件层面,HSB 搭载 Altera FPGA,具备 100GbE 高速接口(具体到板卡上是 QSFP28 百G光口,旁边还有 SFP+ 万兆光口)。信号进来之后由 FPGA 做硬件转发,不经过 CPU 拷贝,数据直接往 GPU 方向送,延迟能压得很低。

        这里多说一句接口的事。很多朋友问 HSB 上那个小口子是什么——就是 SFP+ 插槽(读作 S-F-P plus),用来插万兆光模块走光纤的。旁边那个大一点的是 QSFP28,100G 口。光纤传输的好处不用多讲:带宽大、抗干扰、设备跟算力主机可以拉很远的距离,这在手术室这类场景里是实打实的刚需。

我们在桌面环境里怎么实测的

        纸上谈兵没用,我们直接在桌面搭了一套原型验证环境:PTZ 摄像机通过 HSB 接入算力板卡(Jetson Orin 系列),再往下接显示终端,旁边一台调试笔记本盯着链路状态。

整套链路跑起来之后有两个状态可以切换:

  • 第一个状态是原始画面回显。摄像机采集的视频经过 HSB 桥接、传输,原封不动地在显示器上回来。这一步看着简单,实际上是先验证"原始图像通路是不是通的",链路里任何一环断了都会在这里暴露。
  • 第二个状态是 AI 渲染输出。把图像送进 Holoscan SDK,加载推理处理,显示器上输出的是经过算法处理、带可视化特征渲染的画面。

        从"看到原图"到"看到 AI 处理后的结果",这条采集-传输-推理-显示的全链路就闭环了。别小看这个闭环,很多项目死在中间某一环——信号格式不对、带宽不够、驱动不兼容,都有可能导致整条链路跑不通。桌面环境能快速验证,正是它作为原型调试载体的价值。

演示一:超声 Raw-to-Insights

        第一个比较有代表性的演示,是把超声原始数据直接送进 AI 管线。

        链路是这样的:德州仪器(TI)的 AFE5932EVM 超声评估模块输出原始射频数据,经由搭载 Altera FPGA、具备 100GbE 高速接口的 HSB,直接输送至 NVIDIA IGX T7000 做实时 AI 处理。

        为什么强调"原始数据"?传统做法通常是超声前端自己出图像,再把图像送去做后处理。Raw-to-Insights 的意思是跳过中间重建环节,让原始数据直接进 AI 推理流水线。这意味着算法有更大的发挥空间,也意味着数据带宽需求上了一个台阶——这时候 HSB 的 FPGA 硬件转发和百G光口就派上用场了。

        算力端 IGX T7000 的性能参数值得列一下:基于 Blackwell 架构的集成 GPU(iGPU),支持选配独立显卡 dGPU,最高可输出 5581 FP4 TFLOPS 的 AI 算力;搭配企业级软件栈和功能安全设计,边缘侧可以同时跑多个生成式 AI 模型。对超声这种高带宽数据流来说,这个算力余量是够的。

演示二:多源实时图像整合

        第二个演示解决的是多路图像源的问题。

        通过 SC750N101 采集卡接入多路实时摄像机画面。这张卡内置硬件图像信号处理器(ISP),支持子帧级(Sub-frame)超低延迟输出,还有故障转移(Failover)冗余备份机制——也就是说某一路出问题的时候,链路能顶上去,不会整个断掉。卡通过 PCIe 接口对接 HSB,把 RAW 原始数据和 YUV 图像流高效送进系统。

        这一路重点验证的是多源视频流的低延迟处理、时间同步和数据融合。依托灵活的 Video Switch(视频切换)传输架构,多路异构图像源可以在同一套高可靠流程里协同工作。对应到实际感受就是:几路画面时间对齐、融合推理、实时可视化,一套系统里全跑完,不需要自己东拼西凑。

这套方案的优势,一句话总结

  • 异构传感器接入门槛低:相机、内窥镜、超声前端不用各自写驱动,HSB 统一桥接,原生适配 Holoscan;
  • 延迟可控:FPGA 硬件转发 + 光纤传输,长距离下带宽和时延都有保障;
  • 可靠:SC750N101 有 Failover 冗余,链路不会因为单点故障全挂;
  • 可扩展:多路接入、多模态融合(图像 + 激光雷达这类)都留了空间。

实际能用在哪些场景

  1. 超声 AI 诊断、术中超声辅助——Raw-to-Insights 直接吃原始数据,延迟比传统后处理链路低;
  2. 外科手术导航、内窥镜视觉——多路术野相机 + 内镜同步采集融合,实时标注增强,设备与算力主机光纤分离部署;
  3. 医疗机器人 / 手术机器人感知——多模态数据同步接入,支撑实时感知和 AI 判断;
  4. 工业视觉、高精度多相机检测——高速 RAW 流实时缺陷检测,冗余链路保障产线不断线;
  5. 科研与算法原型验证——像我们桌面这套环境,快速验证新传感器、新模型能不能跑通。

最后说点实在的

        这套东西不是炫参数,核心价值在于把"从传感器到 AI 洞察"的链路做成了标准件。医疗影像系统开发最怕的就是每个项目从零开始拼数据通路,HSB + IGX + 采集卡这套组合,等于把最脏最累的活提前干完了。

        目前我们已经在桌面环境完整跑通了原始回显和 AI 渲染两条链路,接下来会往超声原始数据和多路图像融合的真实业务场景继续验证。


来自 “ ITPUB博客 ” ,链接:https://blog.itpub.net/70050123/viewspace-3187687/ ,如需转载,请注明出处,否则将追究法律责任。

请登录后发表评论 登录
全部评论

注册时间:2026-05-15

  • 博文量
    25
  • 访问量
    26877