无人驾驶、高级辅助驾驶解决方案及市场风向

闭幕不久的“2018慕尼黑电子展”上，瑞萨电子中国汽车电子ADAS 应用工程师应毅辰在同期举行的“中国国际汽车电子创新技术大会"上为大家发表了题为《ADAS和自动驾驶的解决方案》的演讲，介绍了瑞萨电子在无人驾驶、高级辅助驾驶方面的解决方案及市场风向。

自动驾驶的市场趋势

无人驾驶是市场发展的趋势，实际上无人驾驶和辅助驾驶，在现有车辆上已有一些应用。从较基本的环视，高速公路的ACC，提高防碰撞及跟随能力，已经在很多车辆上得到实施和应用。早在上世纪九十年代，汽车上就有定制化应用，发展近三十年后，针对原有的场景，应用的功能得到极大提升，逐步从低速和高速方面，向无人驾驶新领域迈进一大步。

2017年，是环视系统的发展节点，加载更多的设备功能、辅助的功能，来完成远程泊车、自动泊车。在高速方面，也会针对不同的一个应用场景，更好的一个识别、控制，提升车辆的控制精度和功能，为今后高等级L3、L4等级，甚至L5等级做铺垫。瑞萨电子专注这些应用场景，发展完善对应产品，支持现在车厂及各大一级供应商。

瑞萨电子新型自动驾驶理念

瑞萨电子提出了Renesas autonomy™平台，针对ADAS感知部分、传感器部分、以及车辆部分，搭建一个这样的平台，让不同产品应用得以应用于ADAS整个场景之中。

摄像头实际上视觉方面的算法非常复杂，其ADAS集成度非常高，整个系统安全可靠性要求也比较高。瑞萨电子发起了基于R-Car产品系列R-Car联盟，与软件、中间件、系统集成等全球各大供应商积极合作，搭建Renesas autonomy™平台，打通上下游生态圈，为客户更好地提供更高效更易使用的平台。

瑞萨电子全球合作伙伴

环视功能市场细分

ADAS环视是一个较容易的切入点，它对系统的成本、难度要求相对较低，是市场上较为成熟的辅助功能。对于入门级的环视，是基于模拟摄像头的一个2D静态环视。现在的3D环视，是基于数字高清摄像头，目前已配置到很多汽车中，逐渐这会发展成为一个标配。基于最新3D环视的方案，会有更多的辅助功能，如行人识别、车道线的识别。

针对3D环视方案，性能会有更多提升，加入更多辅助功能，停车时的录制功能，录制车辆行驶过程中的一些信息、远程自动泊车功能，以及全程自动泊车辅助功能，还有支持L2等级的自动驾驶应用。

环视的应用场景，还可以加上一些额外的辅助功能，比如说加更多的摄像头，监控车舱内信息，补充更多的摄像头去观测到更广阔的范围。环视摄像头还可以替代传统的物理后视镜，通过加屏幕的方式，使用虚拟后视镜，为驾驶员提供更多信息。以上是环视市场的细分。

第三代R-CAR用于环视市场的优势

瑞萨电子最新推出的R-Car第三代产品是面向当前发展迅猛的ADAS应用，针对环视、自动泊车等应用场景，瑞萨规划对第三代产品做了系统性规划，以提供高性价比的应用支持。

R-Car 第三代产品线分得很细，从入门级到高级都能提供相应的支持，既可以做简单的3D静态环视，也可以做3D任意视角的动态环视，还可以在3D环视的基础上加入更多的识别功能，从而实现辅助泊车功能。客户可根据自己所需的功能，挑选合适产品，搭建自有平台。为市场提供非常弹性的方案，也是瑞萨电子比较大的优势。

面向泊车辅助市场的第三代R-CAR产品

目前，我们会根据不同的显示效果，嵌入一些高性能GPU，形成一个对车体的3D渲染，展示出酷炫的效果。R-Car 第三代产品同时集成了用于识别的性能加速核，提升识别功能的速度，来实现更优的行车辅助功能。

目前环视应用对显示效果要求较高，我们采用了高带宽的视频输入接口，引入130万像素、甚至200万像素的摄像头，为环视系统、以及辅助泊车提供优异的性能支撑。

下图是瑞萨电子针对辅助泊车及环视系统的产品线规划，紫色部分是已经量产的产品，主要针对于以前的模拟摄像头、2D环视及低端的3D环视应用。蓝色部分是新的第三代产品，提供从入门级到高级环视应用场景的差异化产品。

R-CAR用于泊车辅助系统的主要优势

这里向大家介绍一下R-Car系列在泊车系统当中的主要优势，如之前提到的用于视觉辅助的加速核。R-Car系列可支持功能选择，这是辅助驾驶、高级自动驾驶非常重要的一部分，因为这些功能会涉及到控制，控制功能会涉及到驾驶员、乘客的生命安全。因此，我们在芯片中引入了ISO26262标准，以去满足车辆的安全需求，提升整个产品的系统安全性。

瑞萨电子经验证的V3X图形处理

慕尼黑电子展瑞萨展台上展示了一款合作开发的基于R-Car V3M系列的环视系统，它是一款3D环视方案，可显示任意视角，此外基于此方案还可加入更多识别功能。我们的合作伙伴 Cogent Embedded 还可以为中国客户提供一定程度的定制系统，针对不同的应用场景做一系列的开发。

R-CAR V3X支持3路数据流

R-Car V3M 是针对车载应用场景而开发的，优化了芯片内部架构。标准的单一环视可能只是用来显示环视，新增功能很难实现。如果你需要加行车记录仪，可能需要外部添加模块；如果你要加识别，可能还需要更强大的芯片。而R-Car V3M可以在一颗芯片中实现所有功能，通过优化的内部系统总线，实现三种数据流的一个并行运算。

这里展示的是并行处理的环视效果，可同步显示在画面上，这部分的视频输入也可以同步到内部的加速核进行识别，实现诸如障碍物识别、车道线识别等功能。如果你需要行车辅助、行车记录的功能，只需要使用内部视频编码器，对视频进行一个编码，储存到内部数据文件，或者储存到某个公有云，可在手机或车机上观看。

第三代R-CAR中集成ISP

第三代产品最具优势的是集成了ISP，我们友商的竞品多是使用外置ISP。但我们通过内置ISP，由主控芯片进行计算，对图象的画质带来非常大的改进。环视系统有一个重要特征是同步，而我们通过主控芯片及内置ISP，对摄像头数据提供低延迟的同步，同时还提升在亮度、白平衡、序列识别等方面的显示效果。

IMR 图像失真矫正

因为环视摄像头一般会使用一些广角摄像头，可能导致鱼眼失真。为了解决鱼眼失真的问题，瑞萨电子在R系列产品中加入了一个叫做IMR图象失真校正引擎，可以用硬件去实现摄像头的基电失真校正，而不需CPU作任何干预。我们这个IMR引擎还可以用来作3D的一些拼接效果，来替代CPU做出同样效果的计算。

以上是瑞萨电子在V3系列上的总视觉IP策略。

瑞萨电子计算机视觉IP战略

目前市面上很多竞品的架构，如依赖强大的CPU或GPU进行识别，实现控制。瑞萨的方案是嵌入很多的加速引擎，来弥补GPU或CPU的运算速度和功能。GPU可能相对来说比较灵活，但功耗高；CPU的运行效率低于专用的加速核，因而我们在整个芯片中嵌入多种加速核，还有IP引擎，专门用于识别，之后新的V3系列里面还会嵌入专门用于深度学习的CNN引擎。

通过整合所有的硬件加速引擎，并结合CPU、GPU，瑞萨电子为您提供了一个完整的视觉处理加速方案。

系统架构

现在让我们来看一下环视应用的系统架构。因为环视系统相对简单一点，主要就是我们的一个SoC，加入4个摄像头，分别安装在车的前端或后端、左端、右端，去捕获到车周围360度的一个视觉的信息。通过一些中控芯片，提供一个拼接显示。有些可能还会加上通用接口，与车身上的中控导航作一些交互。我们还会预留一些像以太网或者CAN-FD这类的接口，以提供通讯相关功能。

针对较高级的环视系统，我们也会输入像前面提到的V3系列和M3搭配使用一个应用场景。M3主要面向车载娱乐应用场景，对于视觉处理的性能不如V3系列那么强大，如果你需要很强精度很高的识别功能，就需要进行深度学习，来识别障碍物，识别它的车道，M3系统略有不足，可以搭配一个V系列产品满足一些像辅助泊车、自动泊车的应用场景。

正如前面提到，我们产品都会有一些视觉加速的硬件核，这里就是我们视觉加速使用到一个IMP引擎。这个IMP引擎实际上在我们的产品线，已存在了很长时间，早在以前的产品像SH7766这样的模拟环视芯片，就已经有了IMP引擎。其成熟性和功能性，都已经得到了市场验证。我们针对这个IMP的引擎，也提出了很多的优化和提升，应用在最新的这代V3芯片里面。

这个Renesas autonomy ™ 操作面的平台，除了摄像头这方面感知之外，我们还会有融合和判断，这个相当于就是无人驾驶的一个大脑，为车提出一个决策、作一些路径规划、传感器信息融合以及控制。

这方面我们也有类似产品，请看瑞萨电子的产品路线图，现在我们针对像L2、L3等级一些辅助驾驶，一般半自动驾驶搭配R-Car V系列芯片可作为重要解决方案提出。

R-Car H3因为具备强大的CPU性能，是一个八核芯片，内部有4个A57搭配4个A53，从而令它的计算性能非常强大，同时它也支持LPDDR4内存，为传感器提供了超强的一个运行带宽，可实现L2等级的自动驾驶，如此优异的硬件平台，客户可在上面作很多的算法开发。如果在平台上需要强大的一个视觉处理屏，就可以像前面介绍的那样，搭配上R-Car V3系列的产品。

针对之后的L3以及L4这种较高等级的自动驾驶，我们下一代产品也在对此进行规划，CPU核将会得到更多提升，它同时也会把V3这块视觉的另外一块SoC集成到同一颗里面去应用，带芯片的方案去提出这样子一个解决方案。同时它的功能安全等级也会从原来的ASIL-B等级，会提升到ASIL-C或ASIL-D等级，更加完整地去满足自动驾驶这样子一个安全需求。

面对如此复杂的应用场景，客户如果要自己开发硬件会比较困难，为此瑞萨电子也推出了一些开发套件，为我们的客户及感兴趣的一些同行进行先期性开发和验证。HAD解决方案套件内部集成了两颗R-Car H3 SoC和一颗RH850 MCU，搭建了这个平台。基于这个平台，除了做一些先期的算法验证、系统集成，去做先期性研究，为之后的产品导入，加速它的一个导入速度。

我们与第三方合作进一步开发更加成熟的开发套件。与TTTECH的合作，开发出了HADP平台，供大家参考。这就是我们和TTTECH联合开发的，他们在我们的硬件平台上面，搭载了他们具有优势的以太网系统集成方案，集成在一起提供给客户，以加速他们的开发。