芯片超人课堂关于高级驾驶辅助系统的四个部分

芯片超人课堂特邀宁波琻捷电子科技有限公司CEO李梦雄博士主持汽车自动驾驶社交沙龙。瑞萨电子、艾新教育、上海迪璞电子科技股份有限公司、智驾科技Maxieye、上海昂磬微电子、裕太车通等相关负责人在上海张江大厦895营与现场观众一同探讨了汽车自动驾驶技术。

带给大家的内容为：嘉宾分享视频及文字整理部分。

1 琻捷电子CEO李梦雄博士主持现场活动

2 艾新工商学院院长谢志峰博士在会议开场分享

3 瑞萨电子中国资深工程师应毅辰分享部分

01

琻捷电子李梦雄博士主持环节

尊敬的各位嘉宾，各位朋友，大家早上好，我是琻捷电子CEO李梦雄。非常感谢芯片超人课堂组织汽车自动驾驶技术社交沙龙，这是一个与众不同的沙龙，并且我们特地强调社交。我们想把今天沙龙办成一个开放式的互动交流平台，所以待会也非常希望大家能够积极参与互动，大胆提出你的意见，分享你的观点，甚至质疑嘉宾。

大家有没有想过过去10年至15年什么东西深刻地改变了我们的生活方式？我之前跟人也聊过这个事情，很多人的想法第一就是房子。不过当时我觉得，房子相对来说比较狭隘，它只是符合中国特色，是有中国特色社会主义道路的一个特色产品。

相对房子而言，手机更加深刻改变了我们过去10年到15年的生活方式。手机带来最重要的贡献是把我们从直立行走的时代带回了弯腰行走时代。我们展望一下，在将来的10年到15年，会有什么东西深刻改变我们的生活？

我们正身处一个激动人心的大变革时代，汽车行业正在加速从一个传统的机械行业变成电子行业。而电子行业最大的特点就是充分的市场竞争，并且有非常快的更新迭代速度。今天80%的创新来自于汽车电子，并在电器化、智能化、网联化三方面加速前进，其中让我们最期待的是自动驾驶。

首先，我花一点时间来介绍一下我们今天到场的嘉宾。首先是艾新工商学院创始人，艾新工商学院的院长，复旦大学微电子学院教授谢志峰博士；芯片超人的创始人CEO姜蕾，江湖人称花姐；瑞萨电子管理有限公司资深工程师应毅辰；上海紫笛电子科技股份有限公司销售总监夏煜；上海智驾汽车科技有限公司联合创始人运营总监杨腾飞；苏州裕太车通电子科技有限公司市场主管李爽；苏州裕太车通电子科技有限公司创始人叶劲；宁波琻捷电子科技有限公司合伙人系统总监温立。

下面，我们首先有请美国伍斯特大学半导体物理学专业博士，麻省理工学院教授，英特尔最高成就奖得主，中芯国际创始人之一，复旦大学微电子学院兼职教授，谢志峰博士给我们来做分享。

02

艾新教育谢志峰博士分享环节

很高兴来到这里，我给大家分享一个故事，希望大家一起来努力，把自动驾驶的事情做好。1983年我在美国开始开车，中间遇见很多危险的状况，生命安全很多次处在危险边缘。

在美国有很多次晚上开车，城与城之间基本上是很安静、黑暗的。我基本上从一个城市到另外一个城市开车，中间过程是睡着的。进城后就有灯亮，然后我就会醒来，基本整条路都处在半睡眠状态。第二天我完全不记得从上个城市怎么到这个城市，路中间完全没有感觉，回想很是后怕，而且这种经历不止一次。

今天这个问题总算可以解决了。往往我们都认为人开车比自动驾驶安全，但从所有的统计数据来说，无论是汽车还是飞机都在往自动驾驶发展。自动驾驶有很多好处，能够少发生很多事故，挽救很多生命。我希望大家能在此次会议上撞出火花来，在今天的沙龙中多说话，多思考。

03

瑞萨电子应毅辰分享环节

很高兴参加这次活动，我是来自瑞萨电子的应毅辰，主要负责ADAS方面的技术支持。本次活动我主要就为大家介绍一下ADAS（高级驾驶辅助系统）和自动驾驶解决方案以及我们瑞萨电子在ADAS领域的一些经验。我今天的分享会分为四个部分：

1 自动驾驶的市场趋势

2 Renesas autonomy平台生态环境

3 第三代R-Car产品

4 瑞萨电子 - TTTech合作高度自动驾驶平台 (HADP)

自动驾驶的市场趋势

首先我们可以先来看一下ADAS自动驾驶方向的市场趋势。早在2013年的时候，一些ADAS相关的辅助技术已经得到量产，而且相对来说已经比较完善。很多车厂已经有ACC、前方防碰撞、车道保持偏移、自动泊车、半自动泊车等应用，目前部分应用已经量产，且这方面的技术已经相对稳定。

现在的时间点实际上就是把之前很多功能进行整合完善，更加趋向于成熟发展的时间。现在很多像特斯拉这样的高档车上已经有了高速公路自动驾驶及城市路段的自动驾驶功能。在之后，会有一些更加复杂的城市路段进行扩展。最终，可能在2025年完成一个完整的L5自动驾驶的发展路线。我们瑞萨电子的一些产品会根据发展去进行规划，提出相应的应用和研发相应的产品做对应。

Renesas autonomy平台生态环境

为此，瑞萨电子推出了这个叫Renesas autonomy的平台。现在云端技术相当火热，汽车都会带一些3G、4G的通讯模块和云端进行交互，从而获得一些交通标识、高低地图方面的信息辅助车辆驾驶。

自动驾驶最重要的一部分是要知道周围的环境，要知道行人在哪里，要知道障碍物在哪里，让车进行更加安全的行驶，所以感知部分也相当重要。拿到感知的一些摄像头雷达数据，大数据会做一些融合和计算，让车规划出一条比较安全的轨迹，要很强大的大脑去做融合感知的功能。

瑞萨电子对此推出了Renesas autonomy平台来完整覆盖自动驾驶系统。因为Renesas autonomy非常复杂，自动驾驶设计的方向非常多，涉及很多复杂算法和很多传感器，所以我们也联合许多友商和合作伙伴去完善这个系统。我们建立了一个比较完善的生态环境，去对一些算法和传感器做一些处理。

现在有许多车上也配备了环视系统，环视实际上是自动驾驶比较简单的一个切入点，基于环视系统可以做很多工作去辅助车辆驾驶。像之前比较简单的环视是基于模拟摄像头的2D环视，只是让驾驶员从一个顶视视角看到车周围的信息。由于模拟摄像头分辨率不是很高，所以给驾驶员提供的信息也不是很多。

现在逐渐从模拟摄像头转换到数字摄像头，从而提高分辨率。手机上面的像素动辄就是2000万像素、3000万像素，可以拍出质量很好的照片，所以对人来说已经比较难接受模拟摄像头的低分辨率。现在车上也逐渐运用到一些130万像素720P摄像头，甚至200万像素1080P的摄像头，去获得更高的画质。这个更高的画质对于驾驶员来说，不单单是感官上的提升，也可以做很多的辅助识别的功能。车道线、车周围障碍物、行人的识别，也可以加载在已有的环视系统。

我们对环视系统有几个细分，现在入门级的标准是做一个顶视或简单的3D环视。之后在环视系统上面做一些行车记录及对象检测功能。例如：可以告诉驾驶员附近可能有一个三角锥会影响到你的停车。在之后可能会加上更多的识别功能，像利用环视的辅助泊车。因为环视系统对于原始的基于雷达的泊车来说，有很好的优势是可以更清楚看到周围的环境。

原来的超声波传感器是无法感知到车的停车框，但是环视系统可以基于他的视觉了解到周围的环境，知道停车框具体在哪里，更好地去辅助远程泊车功能。在之后可能在环视的功能上做更多拓展，比如说利用环视系统去做一些虚拟的后视镜。

第三代R-Car产品

接下来我要向大家介绍一下瑞萨电子推出的R-Car第三代产品。但是像我们瑞萨自己有一些深度学习的加速核和突然加速的加速核都是我们瑞萨自己的一个IP核，里面也会嵌入一些性能比较好的GPU，去做比较好的3D渲染效果，同时可以利用GUP做一些计算加速。为了更好针对一些高清摄像头应用需求，我们提供了一些高带宽的接口。

上图是我们针对各种等级的环视系统所对应的产品线。现在我们主推是第三代产品，主要包括有R-Car V3MV3H以及R-Car M3产品线。针对一些入门级的3D环视，我们可以选用R-Car V3M覆盖，同时V3M也是可以做一些辅助识别然后半自动驾驶的一个应用场景。

如果对于性能要求比较高，需要更多识别功能，我们会提供像R-Car V3H的芯片。如果想更加好的显示效果、3D显示特效、很好的渲染效果，同时要有很强大的图像识别和处理能力，我们就可以推出R-Car V3H+R-CarM3N的芯片。我们下一代产品已经在规划之中，会把这类的应用合并成单颗芯片，去完善整体系统设计。

现在我们和欧洲的厂商合作去做一个3D环视的方案。包括向任意视角的一个外部视图的3D环视，以及有内部视图的一个3D环视，方便驾驶员从各个角落去看车周围的一些信息。传统后视镜有许多盲区，但是通过环视系统就比较方便的去观察车身周围。同时，也可以基于3D环视，去查找车周围的一些障碍物。

对环视来说，除了最基本的显示图形方面，你可能还要做图像的一个识别，也就是计算机视觉部分。我们把这三种处理并行化，内部就可以分为并行的一个三路数据流。在做图像识别的同时不会影响到图像显示效果，然后也不会影响录制效果。这三个应用同时完成去提高系统运行效率，然后去提升系统的性能。

我们这边把ISP集成到芯片内部，去做更好的控制，也会对系统的集成性得到比较好的提升。然后你就可以在我们的SOC上面灵活去支持不同的曝光条件、分辨率、色彩调整，以及利用后面的视觉加速，这就是R-Car产品集成ISP所带来的一些优势。

除了集成ISP外，我们还集成一些瑞萨自己的IP核去提升系统的性能。利用我们硬件IP核去做环视鱼眼畸变校正。因为很多环视系统，都使用的是广角摄像头，这种广角摄像头会有一些鱼眼畸变，对于后期的特效处理及人视觉上效果不是很好。所以我们使用了硬件的方式去完成畸变校正并优化功耗。

环视系统实际上是比较简单的一个系统，除了主控的SOC之外，外面会搭配一颗芯片去连接四颗摄像头，同时还会有一些存储，包括RAM和FLASH及一颗电源管理芯片去管理SOC和外围的硬件电源，通过接口把环视数据传送到主机端或其他地方显示，或者只是语音提醒。 针对这样的系统，所用到芯片里面的也会有许多IP，上图就是简单的入门级的一个环视系统的架构。

高端环视系统结构相对来说复杂一点。它的摄像头可能扩展到六颗或八颗并在车内部加一些摄像头。基于此我们又提出了双芯片的搭配方案，有比较好显示效果的同时包含强大的识别功能。这样的环视系统除了简单的环视之外，还可以实现一些辅助泊车的功能。

自动驾驶感知判断部分想要做一颗比较强大的大脑还是比较困难的。我们对量产车主要集中L2和L3等级像半自动泊车，和高速公路上面的一些自动驾驶方面的应用场景。我们就提出像R-Car H3搭配R-Car V3的系统搭配。

瑞萨电子 - TTTech合作

高度自动驾驶平台 (HADP)

因为自动驾驶系统相当复杂，客户直接利用我们的新品也比较难使用。所以我们也提出一些评估板开发套件供客户个使用。我们瑞萨电子推出了一个套件，里面内部包含两颗R-CAR H3的芯片以及RH850的MCU去实现L2、L3等级系统验证，就可以做前期的评估和开发。

我们跟TTTech合作开发的套件，它内部结构上是跟前面的R-Drive是一样的，同时提供多达十六路的摄像头输入以及多路的以太网和KFD的接口，另外还有视频输入、输出的一些接口。

HADP的好处是一个硬件设计是完全车规级的设计，客户很快就可以用它导入实际产品。同时TTTech有比较强大的软件实力和比较好的以太网架构，所以说基于我们这样的硬件平台，加上他们软件架构，客户会比较方便得进行一些自动驾驶上层的算法开发以及传感器的接入，加快复杂的自动驾驶应用开发。