0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从传统CV到CNN 自动驾驶车辆上街还需多久

高工智能汽车 来源:未知 作者:胡薇 2018-11-13 09:22 次阅读

尽管汽车工业目前正集中讨论自动驾驶,但要让完全自主的车辆驶上街道还需要一段时间。技术和产业发展永远都是渐进式的,一步一步这些技术必须足够强大,同时满足ISO 26262等一系列汽车行业的安全标准。

目前,包括Waymo在内的多家自动驾驶领域的头部企业都在加快L4级无人驾驶的商业化落地,但前提是目前仅仅是各国的交通主管部门或者政策制定者提供了一个相对宽松的“鼓励政策”。

但量产,意味着技术和产品的成熟,供应链的成本下降到大规模应用的甜蜜点。这仍然需要行业在技术上的突破。

SAE的J3016标准确定了从“非自动化”到“完全自动化”的六个驾驶自动化级别(0级到5级)。自2010以来,驾驶辅助功能(ADAS),如ACC(自动巡航控制),LKA(车道保持辅助),LCA(车道变换辅助)或CTA(交叉交通警报)等已经出现了越来越多的量产车型上。

在下一步(从2019年到2020年),这些系统被进一步集成以实现诸如AEB(自动紧急制动)或TJA(交通堵塞辅助)等功能,目前这几项功能在2019年上市车型中已经出现渗透率不断上升的趋势。

而L3级公路自动驾驶仍然需要驾驶员负责,并且必须能够在短时间内进行干预,这对于量产车而言仍然具备一定的难度。目前也仅有少数几款车型在尝试提供给消费者使用,但成熟度仍然存在挑战。

技术和市场的进步几乎总是遵循相似的模式。最初,一种新技术作为一种创新出现,使新的应用成为可能。这通常与客户方面的高期望相关,与技术的成熟度水平形成鲜明对比。

ADAS和AD技术正是遵循这一曲线,基于现有的控制技术(例如,转向控制、驱动控制)、GPS和HMI技术,用于L1级应用的传感器技术(雷达、超声波、摄像头等)是多年前开发的。

这些应用已经达到了量产成熟度,汽车制造商现在可以付出更低的成本获得更多智能的摄像头和高性能的毫米波雷达(ABCD的新一代雷达大多是在今年底到明年真正量产)——所以,它们现在具有最高的增长率。

从2019年开始,具有L3级应用的车辆将可用于批量生产,但L4级和5级是目前讨论最多的,可是技术的成熟度仍然很低,尤其是深层神经网络(DNN/CNN)被认为是L4级最有前景的应用和补充,但其效用仍需在测试中去得到证实。

迄今为止,汽车行业仍然大部分在沿用传统的视觉及数据计算方法。不同的传感器,例如摄像头或雷达,由传感器层使用硬件加速器单独计算并创建单独的对象列表。

融合层创建一个360°环境模型,然后将此模型处理到抽象层,其中运行诸如自由空间检测或碰撞时间之类的函数,以确定驱动策略的关键参数

下面的应用层使用这些参数来执行路径或运动规划,并为制动层生成命令。这种传统的方法可以用来实现NCAP应用程序和自动化级别达到L3级。

而目前,基于深层学习(DL)的算法是对上述传统计算路径的冗余。DL可以执行诸如语义分割、重新映射(如SLAM:同时定位和映射)、数据提取和驱动策略的确定之类的任务。

有两种可能的方法:无监督的DL(端到端)和有监督的DL。DL层控制车辆并向驾驶员提供允许在交通中进行更复杂操作的功能,尽管保留了传统的CV方法来监视来自DL层的决策。

自2011年以来,DL方法在基于图像的分类精度方面明显优于传统的CV方法,特别是使用DNNs和卷积神经网络(CNNs)。

我们从全球著名的数据测试集KittiVision的基准测试可以看到一些端倪。KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办,是目前国际上最大的计算机视觉算法评测数据集之一。

数据集用于评测立体匹配(stereo)、光流(flow)、场景流(sceneflow)、视觉里程计(visual odometry)、物体检测(object detection)和跟踪(tracking)、道路分割(road)、语义分割(semantics)等计算机视觉技术的性能。KITTI包含市区、乡村和高速公路等场景采集的真实图像数据,每张图像中最多包含15辆车和30个行人,且存在不同程度的遮挡与截断。

KITTI道路检测基准:前20种算法中的80%基于CNN;汽车立体视觉基准:前20种算法中有一半是基于CNN;但汽车光流(在图像中发现移动物体)检测基准:前20种算法中的80%到90%仍然使用传统的CV方法。

从中可以看出,短期内仍是传统CV与CNN的融合效率更高。两种方式目前来看各有利弊,更关键的是现在的成熟量产芯片架构(车规级、低功耗、高性能)决定了量产方案的选择。

CNNs有四个关键点:准确性、网络拓扑、数据类型和数据层的大小。这些因素直接影响推理部分,这是实际的硬件加速器。这种硬件加速器的特征还包括四个参数:性能、功耗、内存带宽,当然还有成本。

在当前最先进的神经网络设计中,有两条主要途径是向前发展:通过提高性能MAC(Multiply Accumulate)来提高精度,或者在相同的精度水平上降低性能。作为一个经验法则:为了提高精度5%,性能必须增加10倍。

减轻性能提高的另一个主要研究领域是通过采用整数或甚至位表示来折衷数据类型。数据类型约简的适用性很大程度上取决于要解决的问题。

然而,目前的技术状态显示16位固定点相对于32位浮点具有1%的精度损失。从推理层的能量概念来看,有两个因素尤其不利:内存访问和浮点计算。

DRAM的32位读访问将消耗640 PJ(Piojoule),而SRAM访问需要5 PJ。32位浮点乘法消耗3.7个PJ,而8位整数乘法仅需要0.2个PJ。

为了实现嵌入式系统的最低可能功耗,推理引擎将专门进行整数计算(16位,可能考虑更高的精度损失,8位)和无内存架构(最小化对DDR和本地SRAM的访问)。

传统的计算体系结构,如CPUGPU,利用其高性能和高灵活性,是目前CNN学习和推理的主流。然而,这些措施并不是有效的,尤其是从电力消耗的角度来看。

对于5x5卷积滤波器,总共需要50个读(数据和操作数)、25个MAC和一个回写。这意味着每个MAC需要三个指令,其中指令效率仅为30%左右。

从能量的角度来看,这导致浮点计算大约425pj,其中60%是由于实际的浮点MAC操作——考虑到数据在本地缓存中。移动到16位不动点整数,能量消耗下降到276pJ,并且这其中只有10%是由于实际的MAC操作。结果,与传统的CPU/GPU架构相比,优化的CNN架构可以提供20倍的性能改进。

此外,未来的需求将需要更高的性能。如上所述,如果精度需要提高5%,那么CNN的性能必须提高10倍。

传感器和输入层的数量也增加了。今天的1兆像素(MP)传感器将被多个MP传感器(8×2MP或4×4MP)所取代。换句话说,性能应该增加10倍的倍数。

现在,可以预见,2019年将需要4TOPS(每秒Tera操作)的性能;2022年,要达到40TOPS或更多,换句话说:必须增加倍数为10的因子。

按照传统的CPU/GPU体系结构,最好的结果是在2年内性能提升2倍,同时将功耗保持在较低的水平,这需要整个通用芯片架构的变革。

而现有的处理器架构只能通过更高的功耗(50W及以上)来实现。(英伟达DRIVE AGX Xavier是在30 TOPS,30W功耗,预计量产时间是在2020年,满足L4级自动驾驶。)

在目前的计算体系结构中,需要通过提供更专用的硬件IP来保持在可控区域中的嵌入式功率。这将不像CPU/GPU那样灵活,但是允许更高的计算效率。

一直以来,包括NXP瑞萨等传统汽车半导体厂商,都是通过DL硬件加速,集成基于现有算法的专用硬件IP来实现最佳性能/功率效率。这些IP使得CNN的高性能、低功耗的实现成为可能。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • CV
    CV
    +关注

    关注

    0

    文章

    52

    浏览量

    16850
  • 自动驾驶
    +关注

    关注

    783

    文章

    13679

    浏览量

    166108
  • cnn
    cnn
    +关注

    关注

    3

    文章

    351

    浏览量

    22168

原文标题:自动驾驶量产路径,从传统CV到CNN | GGAI视角

文章出处:【微信号:ilove-ev,微信公众号:高工智能汽车】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用PVA引擎优化自动驾驶汽车CV开发流水线

    在汽车软件开发领域,越来越多的大规模 AI 模型被集成自动驾驶汽车中,这些模型的范围视觉 AI 模型用于自动驾驶的端
    的头像 发表于 11-05 14:17 220次阅读
    使用PVA引擎优化<b class='flag-5'>自动驾驶</b>汽车<b class='flag-5'>CV</b>开发流水线

    智能驾驶自动驾驶的关系

    驾驶的技术。 智能驾驶包含“单车”智能驾驶和“协作式”智能驾驶。前者通过摄像头、雷达等传感器以及高效准确的算法,赋予车辆
    的头像 发表于 10-23 16:02 528次阅读

    自动驾驶技术的典型应用 自动驾驶技术涉及哪些技术

    驾驶员的情况下完成驾驶操作。这一技术的出现极大地改变了传统驾驶模式,不仅提高了道路交通的安全性和效率,还有望改变人们的出行方式,对城市交通产生深远影响。以下是
    的头像 发表于 10-18 17:31 499次阅读

    实现自动驾驶,唯有端端?

    自动驾驶技术的迅速发展,越来越多的企业开始探索更加智能、高效的解决方案,随着AI大模型入场,自动驾驶涌现出许多新的技术,智驾行业技术路径CNN、RNN、GAN、再到Transform
    的头像 发表于 08-12 09:14 612次阅读
    实现<b class='flag-5'>自动驾驶</b>,唯有端<b class='flag-5'>到</b>端?

    FPGA在自动驾驶领域有哪些优势?

    较高,但在处理复杂计算任务时,FPGA的能效比通常更优。这是因为FPGA能够针对特定任务进行优化,减少不必要的计算和资源浪费。在自动驾驶系统中,这种高能效比有助于延长车辆续航时间和减少能耗成本
    发表于 07-29 17:11

    FPGA在自动驾驶领域有哪些应用?

    是FPGA在自动驾驶领域的主要应用: 一、感知算法加速 图像处理:自动驾驶中需要通过摄像头获取并识别道路信息和行驶环境,这涉及大量的图像处理任务。FPGA在处理图像上的运算速度快,可并行性强,且功耗
    发表于 07-29 17:09

    自动驾驶识别技术有哪些

    自动驾驶的识别技术是自动驾驶系统中的重要组成部分,它使车辆能够感知并理解周围环境,从而做出智能决策。自动驾驶识别技术主要包括多种传感器及其融合技术,以及基于这些传感器数据的处理和识别算
    的头像 发表于 07-23 16:16 529次阅读

    自动驾驶的传感器技术介绍

    自动驾驶的传感器技术是自动驾驶系统的核心组成部分,它使车辆能够感知并理解周围环境,从而做出智能决策。以下是对自动驾驶传感器技术的详细介绍,内容涵盖常见类型、工作原理、在
    的头像 发表于 07-23 16:08 2060次阅读

    自动驾驶的研发为无人驾驶的应用铺设了坚实基石

    经过十多年的深耕细作,我国在自动驾驶领域的研发、技术创新及政策扶持下,迎来了显著的加速发展期,为无人驾驶车辆的广泛应用铺设了坚实的基石。步入2024年,国家高层
    的头像 发表于 07-13 15:20 1078次阅读

    未来已来,多传感器融合感知是自动驾驶破局的关键

    巨大的进展;自动驾驶开始摒弃手动编码规则和机器学习模型的方法,转向全面采用端端的神经网络AI系统,它能模仿学习人类司机的驾驶,遇到场景直接输入传感器数据,再直接输出转向、制动和加速信号。模仿学习人类
    发表于 04-11 10:26

    自动驾驶发展问题及解决方案浅析

    随着科技的飞速进步,自动驾驶汽车已经科幻概念逐渐转变为现实。然而,在其蓬勃发展的背后,自动驾驶汽车仍面临一系列亟待解决的问题和挑战。本文将对这些问题进行深入的剖析,并提出相应的解决方案,以期为未来
    的头像 发表于 03-14 08:38 1059次阅读

    自动驾驶领域中,什么是BEV?什么是Occupancy?

    BEV是Bird's Eye View 的缩写,意为鸟瞰视图。在自动驾驶领域,BEV 是指车辆上方俯瞰的场景视图。
    的头像 发表于 01-13 09:41 3288次阅读
    <b class='flag-5'>自动驾驶</b>领域中,什么是BEV?什么是Occupancy?

    基于区块链的自动驾驶车辆电池寿命预测方法

    基于区块链的自动驾驶车辆电池寿命预测方法
    的头像 发表于 01-05 10:27 415次阅读
    基于区块链的<b class='flag-5'>自动驾驶</b><b class='flag-5'>车辆</b>电池寿命预测方法

    LabVIEW开发自动驾驶的双目测距系统

    LabVIEW开发自动驾驶的双目测距系统 随着车辆驾驶技术的不断发展,自动驾驶技术正日益成为现实。L2级别的辅助
    发表于 12-19 18:02

    自动驾驶技术SLAM+DLBEV+Transfomrer的进化历程

    自动驾驶技术在20世纪初的概念和实验主要集中在车辆自动化和遥控方面。到了20世纪80年代和90年代,随着计算机技术和人工智能的发展,自动驾驶技术开始取得显著进展。这一时期,一些大学和研
    发表于 11-29 10:50 665次阅读
    <b class='flag-5'>自动驾驶</b>技术<b class='flag-5'>从</b>SLAM+DL<b class='flag-5'>到</b>BEV+Transfomrer的进化历程