使用NVIDIA Clara Holoscan SDK在AI医疗设备中实现超高速帧速率

在手术室中，手术视频流的延迟和可靠性会对患者的预后产生重大影响。传感器输入的超高速帧速率支持下一代 AI 应用程序，可为外科医生提供新级别的实时感知和控制。

为了将实时人工智能能力构建到医疗设备中，以用于手术导航、内窥镜等图像引导干预和医疗机器人等用例，开发人员需要能够低延迟处理来自多个通道的组合传感器数据的人工智能管道。

正如 GTC 2022 所宣布的， NVIDIA Clara Holoscan SDK v0.3 现在为 4K 视频提供了 240 Hz 的闪电般快速帧速率。这使得开发人员能够结合来自更多传感器的数据，并构建能够提供手术指导的 AI 应用程序。随着通过高速以太网连接的传感器实现更快的数据传输，开发人员有了更多的工具来构建加速的 AI 管道。

前端传感器的实时人工智能处理

NVIDIA Clara Holoscan 通过 ConnectX SmartNIC 和 NVIDIA Rivermax SDK 实现高速传感器输入， GPUDirect RDMA 绕过 CPU 。这允许传感器将数据高速以太网输出到 AI 计算系统。结果是边缘 AI 的性能无与伦比。

传统的 GStreamer 和基于 OpenGL 的内窥镜管道在 1080p 60 Hz 的流上具有 220 ms 的端到端延迟，而使用 Clara Holoscan 的高速管道在 4K 240 Hz 的流中仅有 10 ms 的端对端延迟。

在 NVIDIA IGX Orin Developer Kit 上以 4K 60 Hz 、 50 ms 以下的频率流式传输数据，团队可以运行 15 个并发 AI 视频流和 30 个并发模型。

NVIDIA Rivermax 软件开发工具包

NVIDIA Clara Holoscan 附带的 NVIDIA Rivermax SDK 支持与 GPU 之间的直接数据传输。它绕过主机内存并使用 ConnectX SmartNIC 的卸载功能，以最低的流式工作负载利用率提供一流的吞吐量和延迟。 NVIDIA Clara Holoscan 利用 Rivermax 功能为高带宽网络传感器带来可扩展连接，并支持非常快速的数据传输。

视频 G-SYNC

NVIDIA G-SYNC 通过将显示器刷新率与 GPU 同步，实现了高显示性能，从而消除了屏幕撕裂现象，并最大限度地减少了显示器断断续续和输入延迟。因此， AI 推理可以以非常低的延迟显示。

NVIDIA Clara HoloViz

Clara HoloViz 是 Holoscan 中用于可视化数据的模块。 Clara HoloViz 将实时帧流与多个不同的其他层（如分段掩码层、几何体层和 GUI 层）组合在一起。

为了获得最佳性能， Clara HoloViz 使用了 Vulkan ，它已经作为 NVIDIA 驱动程序的一部分安装。

Clara HoloViz 在其 API 中使用了立即模式设计模式的概念。应用程序不会创建和存储任何对象。这使得在 Holoscan 应用程序中快速构建和更改可视化效果变得容易。

改进的开发人员体验

NVIDIA Clara Holoscan SDK v0.3 版本显著改善了开发体验。首先，为创建 GXF 扩展添加了一个新的 C ++ API ，这为开发人员构建他们想要的应用程序提供了额外的途径。其次，对 x86 处理器的支持允许开发人员快速开始开发 AI 应用程序，然后可以轻松地部署在 IGX 开发工具包上。第三，这个最新版本丰富了自带模型（ BYOM ）支持。

Holoscan C++ API

Holoscan C ++ API 提供了一种新的方便的方式来组成 GXF 工作流，而无需编写 YAML 文件。 Holoscan C ++ API 使创建应用程序的方法更加灵活和可扩展。它被设计成 GXF 框架 API 的直接替代品，并为 GXF 组件提供了通用接口。

图 1.Holoscan API 的主要组件

应用： 应用程序获取并处理流数据。应用程序是片段的集合，其中每个片段都可以分配到 Holoscan 集群的物理节点上执行。

片段： 片段是应用程序的构建块。它是运算符的有向无环图（ DAG ）。在执行期间，可以将片段分配给 Holoscan 集群的物理节点。运行时执行管理跨片段的通信。在片段中，操作符（图形节点）通过流（图形边）相互连接。

运算符： 运算符是此框架中最基本的工作单元。操作员在输入端口接收流数据，对其进行处理，并将其发布到其输出端口之一。 GXF 中的 codelet 将替换为框架中的运算符。运营商将 GXF 实体的接收器和发射器封装为运营商的 I / O 端口。

资源： 操作员执行作业所需的资源，如系统内存或 GPU 内存池。资源在应用程序的初始化阶段分配。该资源与 GXF 内存分配器或从 GXF 中的组件类派生的任何其他组件的语义相匹配。

条件： 条件是一个谓词，可以在运行时进行计算，以确定是否应该执行运算符。这与 GXF Scheduling Term 类的语义相匹配。

端口： 两个运算符之间的交互点。操作员在输入端口接收数据，并在输出端口发布数据。 GXF 中的接收器、发射器和 MessageRouter 被替换为操作员的 I / O 端口概念。

执行器： 执行器管理物理节点上片段的执行。框架提供了一个使用 GXF 调度程序执行应用程序的默认执行器。

您可以在 SDK documentation 中找到有关新 C ++ API 的更多信息。请参阅 public source code repository 中使用新 C ++ API 跟踪内窥镜工具的完整 AI 应用程序示例。

支持 x86 系统

NVIDIA Clara Holoscan SDK 的设计考虑了各种硬件系统。除了 NVIDIA IGX DevKit 和 Clara AGX DevKit 之外，它还支持在 x86 系统上使用 SDK 。有了 x86 支持，没有 DevKit 的研究人员和开发人员可以在 x86 机器上使用 Holoscan SDK 快速构建医疗设备的 AI 应用程序。

带上你自己的模型

Holoscan SDK 提供 AI 库和预处理的 AI 模型，以加快构建自己的 AI 应用程序的时间。您还可以通过自带模型（ BYOM ）支持来参考内窥镜和超声波应用程序。

作为开发人员，您可以通过将自己的模型放入作为 SDK 一部分提供的参考应用程序中来快速构建 AI 管道。最后， SDK 还包括传感器 I / O 集成选项和性能工具，用于优化生产部署的 AI 应用程序。

软件堆栈更新

NVIDIA Clara Holoscan SDK v0.3 版本还集成了从 NVIDIA JetPack HP1 到 Holopack 1.1 的升级，运行 Tegra Board Support Package （ BSP ）版本 34.1.2 ，以及从版本 2.4.2 到版本 2.4.3 的 GXF 升级。

开始为医疗设备构建 AI

从培训 AI 模型到验证和验证 AI 应用程序，最终部署到商业生产， Clara Holoscan 有助于简化 AI 开发和部署。

关于作者

Julien Jomier 是 NVIDIA 的高级软件工程经理。他领导 Holoscan Embedded SDK 的开发人员体验。在加入 NVIDIA 之前， Julien 曾担任 Kitware 在美国的商业解决方案总监和 Kitware-France 的首席执行官，他在那里领导开发 HPC 、计算机视觉和医学成像的开源解决方案。朱利安在医学领域有 20 多年的经验，曾任放射科研究讲师。

审核编辑：郭婷