0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DRIVE Labs“常学常新”系列「第五站」:提高道路状况的可见性

NVIDIA英伟达企业解决方案 来源:未知 2023-03-13 09:45 次阅读

DRIVE Labs 系列文章

第五站:提高道路状况的可见性

|

|

|

|

|

|

|

|

自然环境瞬息万变,雷雨、大雾以及白天黑夜的光线不同等都会影响自动驾驶汽车的行驶。此外,道路上其他汽车的灯光状态也会对自动驾驶汽车观察道路情况产生影响。因而提升自动驾驶汽车在不同环境中的“可视”能力对于保证安全驾驶而言至关重要。DRIVE Labs“常学常新”系列是 NVIDIA DRIVE 团队推出的、以一辆自动驾驶汽车从出发到最终目的地为线索的系列文章,共分 8 期主题,将为大家详细解析自动驾驶汽车如何一路“过关斩将”,以及 NVIDIA 技术与产品在不同场景中提供的支持,以便读者能更好地了解自动驾驶。

本期是第五期“提高道路状况的可见性”,将为大家介绍自动驾驶汽车如何利用 AI 和深度神经网络,“看清”不同光线及不同环境下的道路状况,以保证行车安全。

上期文章主要介绍了用于车周环境监测的 DNN 与 AI 技术,本期文章将紧接上期 DNN 的相关内容,介绍用于评估汽车摄像头可见度的 ClearSightNet DNN、用于汽车远光灯控制的 AutoHighBeamNet DNN 以及 AI 赋能的汽车光源感知等内容。话不多说,一起来看看吧!

真实的驾驶环境中的照明条件千变万化,白天黑夜的照明来源各有不同,不同路段也会因城市建设或道路状况有不同的照明条件,迎面而来或车前车后车辆的车灯也会对自动驾驶汽车的道路判断产生影响,因而保持自动驾驶汽车“观察”道路能力的稳定性并优化其根据实际情况进行灯光操作的能力,对于保持安全稳定的自动驾驶而言至关重要。

ClearSightNet 助力评估摄像头的可视性

ClearSightNet 深度神经网络

自动驾驶汽车依靠摄像头来实现对周围环境的观察。然而,一些环境因素,比如雨、雪和其他障碍,会影响摄像头的可见度。除了能够感知周边环境,任何一个可靠的感知系统都应当有推断出传感器所传输数据有效性的能力。

如以上视频所示,NVIDIA 基于三项必要需求,开发出了一种 ClearSightNet DNN,用以评估摄像头的可见度并帮助确定遮挡、障碍以及可见度降低的根本原因,旨在打造拥有可推理出摄像头失明的根本原因的能力、能够输出可操作的有意义的信息且能以最小计算消耗在多个摄像头上运行的深度神经网络。

ClearSightNet 根据摄像头失明的两种情况将摄像头图像分成不同的对应区域,这两种情况分别是遮挡和可见度降低:

  • 遮挡部分是指摄像头被不透明遮挡物(如灰尘、泥土或雪等)遮挡或摄像头不包含任何信息(如因太阳照射而造成像素饱和)两种情况。在该情况下,感知通常会完全受损。

  • 可见度降低则是指摄像头并未被完全阻碍,只是因为大雨、水滴、炫光和雾等因素导致可见度受损的情况。在该情况下,感知往往是部分受损,但依然被看作拥有较低的置信度。

d3fb2906-c13c-11ed-bfe3-dac502259ad0.png

ClearSightNet 输出示例。输入图像(左)和经 ClearSightNet 输出图层覆盖的输入图像(右)。在图中所示的情况下,84% 的图像像素受到遮挡的影响,其中部分遮挡显示为绿色,完全遮挡显示为红色

ClearSightNet DNN 会在输入图像上覆盖一层图层从而实现可视化,通过分类显示可见度信息,持续输出端到端的分析以及关于摄像头失明的详细信息,例如,当可见度低时,车辆可以选择不开启自动驾驶功能,并提醒用户清洁摄像头镜头或挡风玻璃,或者使用 ClearSightNet 输出以通知用户摄像头感知可信度计算结果,由此对汽车实现最大程度的控制。

AutoHighBeamNet DNN

助力实现自动可靠的远光灯控制

光线太刺眼?AI 如何避免其他车辆的远光眩光

车辆行驶过程中,人类驾驶员或自动驾驶系统会根据道路照明情况调整汽车灯光,以“看清”道路具体情况。在夜晚,汽车一般会使用远光灯来增加车辆的夜间可视范围,但同时,远光灯也会产生眩光从而给其他驾驶员造成危险。为克服该问题,NVIDIA 利用摄像头图像训练了基于摄像头的 AutoHighBeamNet DNN(如以上视频所示),该 DNN 可自动生成输出以控制车辆的远光灯系统,从而提高夜间行驶的视野范围和安全性

AutoHighBeamNet 从广泛的驾驶场景中进行学习,以期实现真正自主可靠的远光灯控制。根据摄像头图像中的情况,该 DNN 将车辆分为两类:任何一辆行驶中的汽车都会被定义为打开前大灯或尾灯的汽车;路边停放的所有灯都熄灭的汽车则被定义为非活动车辆。该 DNN 仅对根据摄像头图像中感知到正在行驶的车辆做出反应。

AutoHighBeamNet 是 AutoDrivingBeam 视觉感知模块的一部分,该模块的输出可基于汽车制造商的需求进行定制,以根据车辆模块具体输入信号产生相应的远光灯控制信号。远光灯控制信号可以采用两种不同的模式:

  • 自动远光灯(AHB)模式,它提供二进制开/关控制。在 AHB 模式下(如下图所示),车辆的远光灯将在夜间照明不佳的情况下自动打开。但是当检测到行驶中的车辆进入视野范围时,远光灯会自动关闭并切换为近光灯。车辆远离后,远光灯将自动重新打开。

d4de997a-c13c-11ed-bfe3-dac502259ad0.png

自动开/关远光灯控制示例

  • 自适应驱动光束(ADB)模式,可精确控制各个远光 LED 阵列以创建无眩光区域(GFZ)。在 ADB 模式下(如下图所示),车辆通过使远光灯 LED 阵列前照灯中的各个 LED 变暗来防止给远处行驶车辆中的驾驶员造成眩光。与 AHB 模式相似,在车辆离开检测范围后,变暗的区域将自动变回全亮度状态。因此,在 ADB 模式下始终可以保持远光灯开启,以提高夜间行驶的安全性,同时也不会引起其他道路使用者眩光。

d501876e-c13c-11ed-bfe3-dac502259ad0.png

自适应驱动光束控制示例

NVIDIA 推出的 AutoHighBeamNet,利用 AI 克服了原有局限性,基于感知减少了迎面驶来的车辆大灯所带来的眩光影响,助力提升了自动驾驶汽车夜间行驶的安全性。

使用软件定义的 AI 优化光源感知

随着自动驾驶技术的不断发展,利用软件定义的 AI 来增强自动驾驶汽车的性能和功能,逐渐成为实现更安全、更高效运营的最新功能的关键方式。NVIDIA 使用软件定义的 AI 技术,在几周内显著提高了光源感知 DNN 的性能和功能,例如:增加范围、添加分类功能等

NVIDIA 的光源感知 DNN 最初的版本采用固定功能设计方法,为自动驾驶汽车配备了自动远光灯控制模块,旨在区分有主动照明的车辆(与无主动照明的车辆,并使用这些结果提供输入信号来自动控制低/高光束切换。在光源感知 DNN 的最新版本中,NVIDIA 使用了软件定义的 AI 技术,可在不需要改变底层硬件和平台的前提下,通过软件更新快速增加和改善 DNN 功能。其中的最新功能包括:

  • 扩大汽车前车灯和尾灯的检测范围:可检测迎面而来的车辆前灯与前方车辆的尾灯,同时,对于车辆前灯的最远检测范围超过 800 米;

  • 路灯:将路灯作为一个单独的光源类来进行检测;

  • 其他照明:检测交通信号灯或者甚至于摩天大楼的灯光等照明;

基于快速软件定义 AI,可创建一个全面的经过标记的训练数据集,并且能将其扩展到未来的用例。该数据集面向未来,捕获比单一固定功能特征所需的更多信息,并通过重新排列和重新处理数据标签,产生经过改进的训练数据集,以扩展和改进 DNN 的能力,且后续在功能更新过程中也无需进行成本高昂的重新标记工作。

NVIDIA 利用软件定义 AI,在短短几周内就于光源感知 DNN 的功能和性能方面取得了显著的进步,不仅增加了光源感知数量,还将检测范围提高了 4 倍。NVIDIA 基于 AI 实现的光源感知功能快速开发和迭代,证明了软件定义的开发方式存在的显著优势。在生产系统中,利用软件定义的方法可助力厂商通过 OTA 方式快速部署更新功能至消费者车辆之上

未来,NVIDIA 的光源感知工作还将包括检测应急和服务车辆的应急闪烁灯,以及检测专用照明(如建筑区域使用的照明)等,不断拓宽自动驾驶车辆的光源检测范围,以实现更安全、全面的光源检测来支持自动驾驶汽车有关的灯光决策。

以上就是本期全部内容。希望大家喜欢本次的自动驾驶之旅,下期我们将在此基础上为大家介绍 NVIDIA 如何利用 AI 和 RNN 提高自动驾驶汽车的路况预测和规划能力,敬请期待!点击“阅读原文”,观看更多 NVIDIA DRIVE Labs& Dispatch 视频,了解 NVIDIA DRIVE 软件如何助力自动驾驶。

往期精彩回看

「入门篇」:自动驾驶基础功能

「第二站」:基本路况感知

「第三站」:读懂交通标志与信号灯

「第四站」:监控车外的风吹草动

d50e2230-c13c-11ed-bfe3-dac502259ad0.png

扫描下方海报二维码,锁定 NVIDIA 创始人兼首席执行官黄仁勋的 GTC 主题演讲!北京时间 3 月 21 日 23:00 全球首播,3 月 22 日 10:00 中国重播。深度解读 NVIDIA 加速计算平台如何推动人工智能、元宇宙、云技术和可持续计算的下一波浪潮。加入 GTC23,切勿错过 AI 的决定性时刻!


原文标题:DRIVE Labs“常学常新”系列「第五站」:提高道路状况的可见性

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3722

    浏览量

    90708

原文标题:DRIVE Labs“常学常新”系列「第五站」:提高道路状况的可见性

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    芯来科技荣登第五届毕马威中国“芯科技”新锐企业50榜单

    11月7日,第五届毕马威中国“芯科技”新锐企业50评选榜单发布暨颁奖典礼在国家会展中心(上海)毕马威展台举行。本次活动聚集了业内专家及企业精英,共同探讨芯片技术的最前沿趋势,以及行业发展的新机遇与挑战。评选启动至揭晓历时近一年的**毕马威中国“第五届‘芯科技’新锐企业50
    的头像 发表于 11-07 17:34 439次阅读

    CAN总线是如何通信的#CAN #常新

    CAN总线
    北汇信息POLELINK
    发布于 :2024年11月07日 16:34:29

    聚“芯”而行,华普微亮相第五届Silicon Labs Works With大会

    华普微作为Silicon Labs多年战略合作伙伴,此次携公司最新研发成果及其相关产品受邀参会,旨在通过产品分享、技术演示以及现场交流等环节,激发、开拓与更多从业人士进行跨领域合作的灵感与可能。
    的头像 发表于 11-01 14:17 114次阅读
    聚“芯”而行,华普微亮相<b class='flag-5'>第五</b>届Silicon <b class='flag-5'>Labs</b> Works With大会

    交通气象:实时监测道路气象环境

    干道、桥梁隧道等重要交通节点附近。它由一系列先进的传感器和监测设备组成,能够精确地测量温度、湿度、风速、风向、降雨量、能见度等气象参数。这些参数对于交通的影响可谓举足轻重。 温度的变化会直接影响道路状况
    的头像 发表于 10-23 18:28 167次阅读

    Snap发布第五代Spectacles AR眼镜

    9月19日最新资讯,科技巨头Snap近日隆重推出了其第五代Spectacles AR眼镜,这款前沿产品不仅标志着Snap在增强现实(AR)领域的又一重大突破,也预示着智能穿戴设备与AI技术的深度融合将开启全新篇章。
    的头像 发表于 09-19 15:14 734次阅读

    凯米斯亮相第五届中国环博会成都展

    凯米斯亮相第五届“中国环博会成都展”探索绿色未来,共襄环保盛举。凯米斯于5月26日至5月28日,出席第五届中国环博会成都展。作为亚洲环保行业的领航者,中国环博会汇聚全球智慧,一式展示环保全产业链
    的头像 发表于 07-02 08:12 217次阅读
    凯米斯亮相<b class='flag-5'>第五</b>届中国环博会成都展

    三星第五代DDR产品良率不达标

    据报道,三星电子在最新的半导体技术探索中遭遇了挑战。其第五代10nm级(1b)制程DRAM的良率尚未达到业界通常期望的80%~90%的水平,这一状况引发了业界的广泛关注。
    的头像 发表于 06-13 09:41 662次阅读

    【机器视觉】欢创播报 | 比亚迪第五代DM混动技术正式发布

    1 比亚迪第五代DM混动技术正式发布 5月28日,比亚迪第五代DM技术发布暨秦L DM-i、海豹06 DM-i发布会在西安举行。第五代DM技术实现全球最高发动机热效率46.06%、全球最低百公里亏电
    的头像 发表于 05-30 10:53 750次阅读

    capsense第四代和第五代在感应模式上的具体区别是什么?

    据我所知,第五代capsense相比第四代将电容(包括自电容+互电容技术)和电感触摸技术集成到了一起,snr信噪比是上一代的十多倍,同时功耗仅是上一代的十分之一。但是这张图在感应模式上第
    发表于 05-23 06:24

    理想汽车销量第五,主攻豪华品牌市场

    在同一时间段内,中国市场新能源品牌销量排名中,理想汽车以微弱劣势排在埃安之后,名列第五。前四名依次为比亚迪(6.85万辆)、特斯拉(0.98万辆)、菱(0.94万辆)及埃安(0.81万辆)。
    的头像 发表于 05-16 09:31 387次阅读

    美国硅谷群服务器如何提高网站性能

     美国硅谷群服务器可以通过多种方式提高网站性能,那么美国硅谷群服务器如何提高网站性能。Rak部落小编为您整理发布美国硅谷群服务器如何
    的头像 发表于 04-19 09:48 361次阅读

    Vishay推出多功能新型30 V N沟道TrenchFET第五代功率MOSFET

    Vishay 推出多功能新型 30 V N 沟道 TrenchFET 第五代功率 MOSFET,进一步提高工业、计算机、消费电子和通信应用的功率密度,增强热性能。
    的头像 发表于 02-22 17:11 725次阅读
    Vishay推出多功能新型30 V N沟道TrenchFET<b class='flag-5'>第五</b>代功率MOSFET

    第五批电池回收白名单正式出炉

    为引导产业发展、树立标杆效应,工信部综合评审相关企业的技术、环保和安全状况,2023年11月,工信部发布就符合《新能源汽车废旧动力蓄电池综合利用行业规范条件》企业名单(第五批)等公开征求意见。
    的头像 发表于 01-18 16:28 1075次阅读
    <b class='flag-5'>第五</b>批电池回收白名单正式出炉

    燕东微晋级第五批国家级专精特新“小巨人”企业

    近日,第五批国家级专精特新“小巨人”企业名单公布,燕东微所属北京燕东微电子科技有限公司(简称“燕东科技”)通过层层筛选、审核,成功晋级第五批国家级专精特新“小巨人”企业。燕东科技于2022年获得
    的头像 发表于 12-13 09:56 530次阅读

    半导体前端工艺(第五篇):沉积——“更小、更多”,微细化的关键

    半导体前端工艺(第五篇):沉积——“更小、更多”,微细化的关键
    的头像 发表于 11-27 16:48 587次阅读
    半导体前端工艺(<b class='flag-5'>第五</b>篇):沉积——“更小、更多”,微细化的关键