NVIDIA Isaac ROS GEM 是一款基于硬件加速的软件包,可以让 ROS 开发者更轻松地基于 NVIDIA 硬件构建高性能解决方案。
NVIDIA Isaac ROS GEM功能特性
高吞吐量感知
Isaac ROS GEM 提供的软件包中包括图像、计算机视觉,以及针对 NVIDIA GPU 和 Jetson 高度优化的 DNN 处理功能。
灵活的模组化软件包
借助模组化软件包,ROS 开发者可以准确地选择需要集成到其应用中的内容。这意味着他们可以替换整个工作流,也可以仅更换一种算法。
缩短开发时间
Isaac ROS GEM 经过精心设计和测试,与现有的常见 ROS 节点相似,更易于集成到现有应用中。
适用于ROS开发者
且丰富多样的感知AI软件包
ROS 2 节点可应对常用的图像、计算机和 DNN 处理功能,这些功能是为 AI ROS 机器人应用提供高性能感知的关键要素。
基于Visual SLAM的定位
当自主机器在相应环境中移动时,它们必须持续追踪自己的位置。视觉测距通过估算摄像头相对于其起始位置的距离来解决这一问题。支持立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供了这一强大功能。
此 GEM 使实时立体摄像头视觉测距解决方案具备高准确度。可在此处参考基于广泛使用的 KITTI 数据库的公开可用结果。此 GPU 加速软件包不仅具备高准确度,运行速度也非常快。事实上,SLAM 现在可在 Jetson Xavier AGX 上以高清分辨率(1280 x 720)实时(60 fps 以上)运行。
3D场景重建– nvblox(预览)
仅仅明确机器人的位置还不足以在复杂的环境中实现安全导航。机器人还必须能够自己发现障碍物。nvblox(预览)使用 RGB-D 数据来创建机器人所在环境的密集 3D 显示。其中包括不可预见的障碍物,如果不进行实时观察,可能会对机器人造成危险。而此数据有助于为导航堆栈生成时间成本图。
DNN 推理过程
DNN 推理 GEM 是一组 ROS2 软件包,允许开发人员使用 NGC 上可用的 NVIDIA 众多推理模型中的任何一种,甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件,开发者可以进一步调整预训练模型或优化自己的模型。
优化后,这些软件包将通过 NVIDIA 的推理服务器 TensorRT 或 Triton 进行部署。借助利用 TensorRT(NVIDIA 的高性能推理 SDK)的节点实现出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型,则可以使用 Triton 来部署模型。
整合模型支持的其他 GEM 现已推出,并支持 U-Net 和 DOPE 。基于 TensorRT 的 U-Net 软件包可用来从图像中生成语义分割遮罩。DOPE 软件包可用于对所有检测到的目标进行 3D 姿态估计。
该工具是在 ROS 应用程序中加入高性能 AI 推理的最快方法。下图为预训练模型 PeopleSemSegNet,运行速度为 25fps @544p。
摄像头/ 图像处理
在典型的机器人图像处理流程中,须先处理通过摄像头传感器获得的原始数据,然后再将其传递给 DNN 或用于感知处理的经典计算机视觉模组。此图像处理过程包括镜头失真校正(LDC)、图像调整和图像格式转换等。如果需要用到立体摄像头,则还需要估计差异。图像处理 GEM 旨在利用 Jetson 上的专用计算机视觉硬件,例如 GPU、VIC(视频和图像合成器)和 PVA(可编程的视觉加速器)。
针对使用 CSI 接口连接摄像头的机器人,NVIDIA 提供硬件加速的 Argus 软件包。
审核编辑:汤梓红
-
NVIDIA
+关注
关注
14文章
4981浏览量
102999 -
软件包
+关注
关注
0文章
104浏览量
11590 -
ROS
+关注
关注
1文章
278浏览量
17004
原文标题:DevZone | NVIDIA Isaac ROS GEM
文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论