0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于NVIDIA Jetson的机器人面临的结果、系统和挑战

星星科技指导员 来源:NVIDIA 作者:Mitesh Patel 2022-04-13 09:14 次阅读

进行高精度的实时推理是一项具有挑战性的任务,尤其是在能见度较低的环境中。借助 NVIDIA Jetson 嵌入式平台,最近结束的国防高级研究计划局( DARPA )地下挑战赛( SubT )团队能够以高精度和高吞吐量检测感兴趣的物体。在这篇文章中,我们将介绍在系统竞赛的最后一站中团队所面临的结果、系统和挑战。

SubT 挑战赛是由 DARPA 组织和协调的国际机器人竞赛。该竞赛鼓励研究人员为机器人开发新的方法来绘制、导航和搜索环境,这些环境会带来各种挑战,例如能见度低、存在危险、地图未知或通信基础设施差。

2019 冠状病毒疾病包括三个初步的电路事件:隧道电路、城市电路和洞穴电路(由于 COVID-19 大流行而取消),以及最终的综合挑战课程。每个赛道和决赛都在不同的环境和不同的地形中举行。据活动组织者介绍,比赛在 3 个不同的阶段举行, 2021 九月在 KY 。路易斯维尔举行了最后一场比赛。

SubT Challenge 的竞争对手利用 NVIDIA 技术满足其硬件和软件需求。团队使用桌面/服务器 GPU 来训练使用 NVIDIA Jetson 嵌入式平台部署在机器人上的模型,以实时检测感兴趣的工件和对象,这是确定获胜团队的主要标准。七分之五的竞争对手也使用 Jetson 平台进行实时目标检测。

次级挑战

SubT 挑战的灵感来自于第一响应者在搜索救援行动或灾难响应期间面临的真实场景。

通过本次比赛开发的最先进的方法将有助于降低搜索救援人员和急救人员在探索未知地下环境时的伤亡风险。此外,自动机器人将协助工作人员探索环境,寻找幸存者、感兴趣的物体,并进入对人类有风险的地点。

图 1 。 DARPA 地下挑战探索了绘制、导航和搜索复杂地下环境的创新方法和新技术。 – 图片由 DARPA 提供 。

技术挑战

这场比赛包含了各种技术挑战,比如应对一些机器人可能无法轻松操纵的未知、无结构和不平的地形。

这些环境通常没有任何与中央司令部通信的基础设施。从感知角度来看,这些环境的可见度很低,机器人必须找到感兴趣的工件和物体。

竞争团队的任务是通过开发新型传感器融合方法,以及开发新的或修改现有机器人平台来应对这些挑战,这些平台具有不同的定位和检测感兴趣对象的能力。

CERBERUS 团队

CERBERUS 团队(用于地下环境中自主探索的协作步行和飞行机器人)是世界各地多所大学和工业组织的联合财团。

该团队与四个名为 ANYmal 的四足机器人、五个主要由内部制造、具有可变大小和有效载荷能力的无人机,以及一个超级巨型机器人形式的漫游机器人一起参加了比赛。在比赛决赛中,该团队最终使用了四个 ANYmal 机器人和超级巨型机器人进行探索和人工制品检测。

每个 ANYmal 机器人都配备了两台基于 CPU 的计算机和一台 NVIDIA Jetson AGX Xavier 。漫游者机器人配备了 NVIDIA GTX 1070 GPU 。

CERBERUS 团队使用改进版的 You Only Look One ( YOLO )模型进行目标检测。该模型使用两个 NVIDIA RTX 3090 GPU 在 40000 个标记图像上进行训练。

在部署到 Jetson 上进行实时推理之前,使用 TensorRT 对训练后的模型进行了进一步优化。 Jetson AGX Xavier 能够以 20 赫兹的集体频率进行推理。在比赛总决赛中, CERBERUS 团队率先发现了环境中 40 件文物中的 23 件,夺得了第一名。

CERBERUS 团队还使用 GPU 绘制地形高程图,并训练 ANYmal 四足机器人的移动策略控制器。使用 Jetson AGX Xavier 实时绘制高程图。 ANYmal 机器人在崎岖地形下的移动策略训练是使用桌面 GPU 离线完成的。

团队联袂主演

在南加利福尼亚州 NASA 喷气推进实验室( JPL )的研究人员以及其他大学和工业合作者的带领下,团队合作地下自主机器人( Co STAR )在 2020 年的比赛中获胜,该比赛专注于探索复杂的地下城市环境。

他们还成功地参加了 2021 届混合人工和自然环境的比赛,排名第五。联袂主演的团队带着四个位置、四个哈士奇机器人和两架无人机参加了比赛。

在最后一轮中,由于意外的硬件问题,团队最终使用了一个 Spot 和三个哈士奇机器人。每个机器人都配备了一台基于 CPU 的计算机以及一台 NVIDIA Jetson AGX Xavier 。

在目标检测方面,该团队使用 RGB 和热图像。他们使用 YOLO v5 模型的中型变体来处理高分辨率图像以进行实时推断。该团队训练了两种不同的模型,对捕获的 RGB 和热图像进行推理。

基于图像的模型使用约 54000 个标记帧进行训练,而热图像模型使用约 2400 个标记图像进行训练。为了训练模型在他们的定制数据集上,团队 Co Star 使用了在 COCO 数据集上的预训练的 YOLO V5 模型,并使用NVIDIA 传输学习工具包(称为 TAO 工具包)进行传输学习。

使用两个内部部署的 NVIDIA A100 GPU 和一个由八个 V100 GPU 组成的 AWS 实例对模型进行训练。在 Jetson AGX Xavier 上部署模型之前,团队使用 TensorRT 修剪模型。

使用这种设置,团队合作星能够在 28 赫兹的频率下对五台 RealSense 相机接收到的 RGB 图像和一台热敏相机接收到的图像进行推断。在最后一次运行中,机器人能够检测到指定区域中存在的所有 13 个工件。由于部署现场意外的硬件问题导致部署延迟,因此勘探时间有限。

配备 NVIDIA Jetson 平台和NVIDIA GPU 硬件,在 DARPA SUT 事件中竞争的团队能够有效地训练模型以进行实时推理,解决地下环境所带来的挑战与精确的目标检测。

关于作者

Mitesh Patel 是 NVIDIA 的开发者关系经理,他与高等教育研究人员合作,使用 NVIDIA SDK 和平台执行他们的想法。在加入NVIDIA 之前,他是富士施乐帕洛阿尔托实验室有限公司的高级研究科学家,致力于开发室内本地化技术,用于医院的资产跟踪和制造设施的送货车跟踪等应用。 Mitesh 于 2014 在澳大利亚悉尼科技大学获得了来自自动系统中心( CAS )的机器人学博士学位。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4984

    浏览量

    103018
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4735

    浏览量

    128914
  • 计算机
    +关注

    关注

    19

    文章

    7492

    浏览量

    87896
收藏 人收藏

    评论

    相关推荐

    《具身智能机器人系统》第7-9章阅读心得之具身智能机器人与大模型

    医疗领域,手术辅助机器人需要毫米级的精确控制,书中有介绍基于视觉伺服的实时控制算法,以及如何利用大模型优化手术路径规划。工业场景中,协作机器人面临的主要挑战是快速适应新工艺流程。具身智能通过在线学习
    发表于 12-24 15:03

    【「具身智能机器人系统」阅读体验】+初品的体验

    《具身智能机器人系统》 一书由甘一鸣、俞波、万梓燊、刘少山老师共同编写,其封面如图1所示。 本书共由5部分组成,其结构和内容如图2所示。 该书可作为高校和科研机构的教材,为学生和研究人员提供系统
    发表于 12-20 19:17

    开发小型机器人面临哪些难题

    尽管不同商用场景的大多区域都十分相似,但非标准化的场景属性无法避免的导致了不少corner case。面对狭窄场景,“强悍”的商用清洁机器人迎来了自己的“职业危机”。
    的头像 发表于 11-22 09:44 180次阅读

    初创公司借助NVIDIA Metropolis和Jetson提高生产线效率

    初创公司使用 NVIDIA Metropolis 视觉 AI 和 Jetson 边缘 AI 平台提高生产线效率。
    的头像 发表于 11-19 14:39 179次阅读

    使用NVIDIA Jetson打造机器人导盲犬

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson边缘 AI 和机器人平台,为视障人士打造了
    的头像 发表于 11-09 13:51 246次阅读

    使用机器学习和NVIDIA Jetson边缘AI和机器人平台打造机器人导盲犬

    Selin Alara Ornek 是一名富有远见的高中生。她使用机器学习和 NVIDIA Jetson 边缘 AI 和机器人平台,为视障人士打造了
    的头像 发表于 11-08 10:05 393次阅读

    NVIDIA 加速人形机器人发展

    开发者可以访问新的 NVIDIA NIM 微服务,用于 Isaac Lab 和 Isaac Sim 中的机器人仿真、OSMO 机器人云计算编排服务和远程操作数据捕获工作流等       丹佛
    发表于 07-30 09:15 741次阅读
    <b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>机器人</b>发展

    德国机器人面临中国竞争与国内经济下滑的双重压力

    在6月18日的一则消息中,德国机械工程行业协会(VDMA)揭示了其国内机器人产业正面临的双重挑战:来自中国的激烈竞争和国内经济形势的疲软。
    的头像 发表于 06-18 15:59 431次阅读

    全球机器人开发领域采用NVIDIA 机器人开发和生产

    比亚迪电子、西门子、泰瑞达和 Alphabet 旗下公司 Intrinsic 采用 NVIDIA Isaac 机器人平台开发自主机械臂、人形机器人和移动机器人  
    的头像 发表于 06-03 18:25 1238次阅读

    Nvidia Jetson Nano + CYW55573/AWXB327MA-PUR M.2无法使用操作系统内置的网络管理器管理Wi-Fi如何解决?

    我们使用的是 Nvidia Jetson Nano + CYW55573/AWXB327MA-PUR M.2 ,请参阅 Nvidia Jetson 与英飞凌 AIROC Wi-Fi 6
    发表于 05-23 06:47

    使用NVIDIA Isaac Manipulator生成抓取姿势和机器人运动

    NVIDIA 宣布与 Intrinsic.ai 就工业机器人任务的基础技能模型学习展开合作。
    的头像 发表于 05-17 10:33 1263次阅读
    使用<b class='flag-5'>NVIDIA</b> Isaac Manipulator生成抓取姿势和<b class='flag-5'>机器人</b>运动

    其利天下技术·搭载无刷电机的扫地机器人的前景如何?

    地毯并增加吸力,或是绕过障碍物进行清扫。同时,通过手机APP远程控制、语音指令等方式,用户可以方便地操作扫地机器人,实现个性化的清洁需求。 3.扫地机器人面临的技术壁垒与客户体验问题 尽管扫地机器人
    发表于 05-05 15:03

    透过NVIDIA GR00T模型和Jetson Thor芯片看人形机器人未来发展

    ,具身智能作为行业热词不胫而走,实际上NVIDIA等公司早就在这一领域开始了布局。 具身智能指机器人或智能系统能够通过感知器和执行器与其所处的环境进行实时互动。从概念上说,具身智能的实例范围很广,包括
    的头像 发表于 04-10 00:14 3503次阅读
    透过<b class='flag-5'>NVIDIA</b> GR00T模型和<b class='flag-5'>Jetson</b> Thor芯片看人形<b class='flag-5'>机器人</b>未来发展

    NVIDIA Isaac机器人平台升级,加速AI机器人技术革新

    NVIDIA Isaac机器人平台近期实现重大升级,通过引入最新的生成式AI技术和先进的仿真技术,显著加速了AI机器人技术的发展步伐。该平台正不断扩展其基础模型、机器人学习框架、AI工
    的头像 发表于 03-27 10:36 672次阅读

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim 并创建仿真。 本 Demo 中的 Husky 机器人配备了 NVIDIA
    的头像 发表于 12-26 18:05 1325次阅读
    使用 <b class='flag-5'>NVIDIA</b> Isaac 仿真并定位 Husky <b class='flag-5'>机器人</b>