0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于端到端的自动驾驶系统只能做demo吗

电子设计 来源:电子设计 作者:电子设计 2020-12-26 10:39 次阅读

剑桥大学工程系团队创办的Wayve凭借机器学习算法,只需要使用摄像头和基本的卫星导航就可以实现自动驾驶汽车在陌生的道路上行驶。

自从2016年,英伟达公开了用于自动驾驶汽车的端到端深度学习技术之后,已经有不计其数的公司、单位甚至爱好者用此技术做出自动驾驶的demo。简单网络结构,可以实现摄像头输入到刹车油门方向盘输出的直接映射。然而这种低门槛也注定了它可以解决的问题并不多,很难应对具体驾驶环境上的复杂性。有专家甚至认为端到端不适合开发实用无人驾驶系统,可以做demo,大规模商用可能非常困难。

端到端只配做demo吗?由剑桥大学团队创办的Wayve无人驾驶软件公司却不这么认为。他们没有用高精地图,也没有用激光雷达等昂贵的传感器,当然也没有给汽车手工输入规则,只训练20小时数据,就可以在从未跑过的道路上驾驶。

Wayve 研发团队认为既然是自动驾驶,就不需要手工编码一些规定,要充分的展现其智能的特性。团队采用了当下大热的深度学习强化学习算法,建立了一个可以像人类一样慢慢学习驾驶的自动驾驶系统。

经过探索、优化和评估三个步骤进行迭代,采用深度确定性策略梯度(Deep deterministic policy gradients,DDPG),来解决车道保持问题。

现有技术的图像分类体系结构具有数百万个参数,而Wayve团队的网络构架是一个深度网络,有4个卷积层和3个完全连接层,总共只有不到1万个参数,所有处理都在汽车GPU上执行。

在强化学习仿真测试中,通过随机生成曲线车道,以及道路纹理和车道标记,然后根据收集的数据优化策略,再不断重复。

结合了图像翻译和行为克隆的端到端零镜头框架

大多数自驾车公司使用模拟来验证他们的系统,而Wayve让自动驾驶汽车在仿真中广泛学习如何处理罕见的边缘情况。Wayve训练汽车进行模拟驾驶,并将学到的知识转化到现实世界。

Wayve没有将模拟和现实世界视为两个不同的领域,而是设计了一个框架,将两者结合起来,既可以在模拟中训练转向决策,又可以在现实世界中展现出类似的行为而无需进行真正的演示。

Wayve的模型由一对最初用于图像转换的卷积变分自动编码器式的网络组成,用于图像翻译,即无监督图像到图像的翻译网络(Unsupervised Image-to-Image Translation Networks, UNIT))。在两个域之间没有任何已知的对齐或对应关系的情况下,模型能够在它们之间进行转换。下图是一个捕捉场景主要布局的例子。值得注意的是,模拟器的视觉保真度在学习驾驶时并不是最重要的,他们的模拟世界就像卡通一样,依旧可以很好的完成仿真模拟。Wayve研究称,内容保真度比视觉保真度更重要。但是,有效地模拟其他交通参与者的行为仍然是一个巨大的挑战。

基于真实世界的驾驶数据和精心设计的边缘案例来模拟场景

汽车由基于模型的深层强化学习系统驱动,该算法从离线收集的真实数据中学习预测模型。这让模型学习并使用预测模型所想象的新场景数据来训练驾驶。

Wayve致力于开发更丰富,更强大的时态预测模型,并相信这是构建智能安全自动驾驶汽车的关键。

目前,该系统已经部署在 JaguarI-PACE 车上。这辆车赢得了2019年度欧洲年度车型的称号,未来将在整个英国和欧洲大陆收集数据。当下,让数据逐渐积累,其驱动算法可能达到人类驾驶员质量的95%,能够处理交通灯,环形交叉路口,十字路口等。

尽管有人会觉得端到端的自动驾驶系统,既不聪明也不灵活,发生问题难以解释,然而Wayve在用其强大的算法证明这种深度学习的技术不只可以做demo,未来也可以保证安全,也可以商用。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    210

    文章

    28191

    浏览量

    206472
  • 自动驾驶
    +关注

    关注

    783

    文章

    13680

    浏览量

    166116
收藏 人收藏

    评论

    相关推荐

    从车企实践看自动驾驶解决方案

    中的重要性日益凸显,这也促使众多汽车制造商加快了智能化技术的研发和工程投入,未能跟上智能化步伐的汽车品牌可能会逐渐失去市场竞争力,自动驾驶技术的发展已然进入关键阶段,其中概念的提
    的头像 发表于 11-19 10:55 368次阅读
    从车企实践看<b class='flag-5'>自动驾驶</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>解决方案

    连接视觉语言大模型与自动驾驶

    自动驾驶在大规模驾驶数据上训练,展现出很强的决策规划能力,但是面对复杂罕见的驾驶场景,依然
    的头像 发表于 11-07 15:15 146次阅读
    连接视觉语言大模型与<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自动驾驶</b>

    Waymo利用谷歌Gemini大模型,研发端自动驾驶系统

    迈新步,为其机器人出租车业务引入了一种基于谷歌多模态大语言模型(MLLM)“Gemini”的全新训练模型——“多模态自动驾驶模型”(EMMA)。
    的头像 发表于 10-31 16:55 961次阅读

    智己汽车“”智驾方案推出,老司机真的会被取代吗?

    随着智能驾驶技术的发展,行业已经从早期基于简单规则和模块化逻辑的自动驾驶,逐步迈向依托深度学习的高复杂度智能驾驶解决方案,各车企也紧跟潮流,先后宣布了自己的
    的头像 发表于 10-30 09:47 173次阅读
    智己汽车“<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>”智驾方案推出,老司机真的会被取代吗?

    Mobileye自动驾驶解决方案的深度解析

    强大的技术优势。 Mobileye的解决方案概述 1.1 什么是
    的头像 发表于 10-17 09:35 292次阅读
    Mobileye<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自动驾驶</b>解决方案的深度解析

    实现自动驾驶,唯有

    ,去年行业主流方案还是轻高精地图城区智驾,今年大家的目标都瞄到了(End-to-End, E2E)。
    的头像 发表于 08-12 09:14 613次阅读
    实现<b class='flag-5'>自动驾驶</b>,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    FPGA在自动驾驶领域有哪些优势?

    可以根据自动驾驶系统的具体需求,通过编程来配置FPGA的逻辑功能和连接关系,以适应不同的应用场景和算法变化。这种灵活性使得FPGA能够快速适应自动驾驶技术的快速发展和变化。 低延迟: 自动驾
    发表于 07-29 17:11

    FPGA在自动驾驶领域有哪些应用?

    是FPGA在自动驾驶领域的主要应用: 一、感知算法加速 图像处理:自动驾驶中需要通过摄像头获取并识别道路信息和行驶环境,这涉及大量的图像处理任务。FPGA在处理图像上的运算速度快,可并行性强,且功耗
    发表于 07-29 17:09

    理想汽车加速自动驾驶布局,成立“”实体组织

    近期,理想汽车在其智能驾驶领域迈出了重要一步,正式成立了专注于“自动驾驶”的实体组织,该组织规模超过200人,标志着理想在
    的头像 发表于 07-17 15:42 1307次阅读

    智行者联合清华完成国内首套全栈式自动驾驶系统的开放道路测试

    近日,智行者与清华大学车辆学院李克强院士、李升波教授领导的研究团队,完成了国内首套全栈式自动驾驶系统的开放道路测试。
    的头像 发表于 04-22 09:24 740次阅读
    智行者联合清华完成国内首套全栈式<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自动驾驶</b><b class='flag-5'>系统</b>的开放道路测试

    佐思汽研发布《2024年自动驾驶研究报告》

    自动驾驶是直接从传感器信息输入(如摄像头图像、LiDAR等)控制命令输出(如转向、加减速等)映射的一套
    的头像 发表于 04-20 11:21 2799次阅读
    佐思汽研发布《2024年<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自动驾驶</b>研究报告》

    理想汽车自动驾驶模型实现

    理想汽车在感知、跟踪、预测、决策和规划等方面都进行了模型化,最终实现了的模型。这种模型不仅完全模型化,还能够虚拟化,即在模拟环境中进行训练和测试。
    发表于 04-12 12:17 412次阅读
    理想汽车<b class='flag-5'>自动驾驶</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>模型实现

    自动驾驶的基石在哪里?

    深度学习(DL)与自动驾驶(AD)的融合标志着该领域的重大飞跃,吸引了学术界和工业界的关注。配备了摄像头和激光雷达的AD系统模拟了类似人类的决策过程。
    发表于 02-26 11:38 369次阅读
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自动驾驶</b>的基石在哪里?

    自动驾驶的基石到底是什么?

    深度学习(DL)与自动驾驶(AD)的融合标志着该领域的重大飞跃,吸引了学术界和工业界的关注。配备了摄像头和激光雷达的AD系统模拟了类似人类的决策过程。
    发表于 02-22 09:50 378次阅读
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自动驾驶</b>的基石到底是什么?

    LabVIEW开发自动驾驶的双目测距系统

    LabVIEW开发自动驾驶的双目测距系统 随着车辆驾驶技术的不断发展,自动驾驶技术正日益成为现实。从L2级别的辅助驾驶技术
    发表于 12-19 18:02