瑞萨电子推出为无人驾驶汽车运算SoC而打造的摄像头视频处理电路模块

　　2016年2月2日，日本东京讯——全球领先的半导体解决方案供应商瑞萨电子株式会社（TSE：6723）今日宣布推出用于未来无人驾驶汽车运算系统SoC（SoC）的新型视频处理电路模块。

　　无人驾驶汽车运算系统SoC应结合车载信息娱乐系统和安全驾驶辅助系统两个系统的功能，并能对这两个系统进行平行操作。需特别指出的是，安全驾驶辅助系统必须能够低延迟地处理来自车载摄像头的视频数据，并及时把适当的信息通知驾驶员。车载信息娱乐系统和安全驾驶辅助系统的研发者所面临的一个问题是需要无延迟并稳定地处理大量的视频数据并运行无人驾驶车辆的控制功能。

　　新研发的视频处理电路模块用低延迟的方式进行车载摄像头视频的处理。它可以低功耗地对大量视频数据进行实时视频处理，并不对CPU和图形处理单元（GPU）增加任何额外的负荷，这有利于对无人驾驶车辆的控制。瑞萨采用16纳米FinFET工艺研发出新的视频处理电路模块原型。除了车载摄像头视频的70 ms延时处理功能，它还提供了业内领先的仅197 mW功耗的全高清12路视频处理功能。

　　最近，预示未来将出现无人驾驶车辆的车载信息娱乐系统（如汽车导航系统和高级驾驶员辅助系统（ADAS））已取得显著的进展，让这些系统更有可能成为结合车载信息娱乐系统和安全驾驶辅助系统两者功能的汽车运算系统。

　　安全驾驶辅助系统预计将在从车载摄像头传输过来的视频的基础上进行认知处理，如识别障碍、监测驾驶员的状态及预测和避免危险。随着如瑞萨的R-Car T2车载摄像头网络SoC等设备的出现，我们可以预见从车载摄像头传输过来的视频数据将被编码形成视频流，而安全驾驶辅助系统则必须解码所接收到的视频流。为了正确地使用广角摄像头提供的图像进行认知处理，必须对视频数据进行处理以校正失真。视频处理要求实现低延迟功能，使这一系统能够及时地把适当的信息通知驾驶员。

　　另一方面，车载信息娱乐系统能够与多种设备和服务交互操作（包括智能电话和云服务），因此系统中被输入大量外部视频信号源的数据。同时，配备多个内部显示器（包括后座监视器）的车辆变得越来越普遍。这意味着该系统必须能够处理同时显示的多个视频信号。车载信息娱乐系统必须具有足够的实时处理和显示大量的视频数据的性能。

　　新研发的视频处理电路模块能够低延迟地解码车载摄像头传输过来的视频流并进行失真校正。它实时并低功耗地进行汽车运算系统所要求的复杂的视频处理，但并不对承担认知处理任务的CPU和GPU增加任何额外负荷。

　　新研发技术的主要特点：

　　（1）与流水线操作相结合，对视频处理器进行同步操作以实现70 ms延时视频解码和失真校正

　　视频编解码处理基本上由解析处理和图像处理构成，其中解析处理的处理性能取决于编码数据流的量，图像处理的处理性能取决于图像分辨率。新型视频处理电路模块采用一个用于解析处理的流处理器和一个用于图像处理的编解码处理器来实现视频编码和解码。由于车载信息娱乐系统所处理的典型视频流数据的大小在不同视频帧之间差异较大，因此处理性能取决于解码数据流大小的流处理器所需的处理时间在不同视频帧之间也差异很大。另一方面，处理性能取决于图像分辨率的编解码器所需的处理时间在每个视频帧中都是相同的。因此，必须对流处理器和编解码处理器进行异步操作，但这会导致严重的延时从而产生问题。

　　新研发的视频处理电路模块设有同步运行模式，该模式利用了流处理器和编解码处理器之间的FIFO，并能够在视频帧间隔之间处理大致相同量的视频流数据，与安全驾驶辅助系统所期望的情况相同。它还设有一个机制，在这个机制中每当视频帧处理期间完成一个16行的或其倍数的处理时，编解码处理器就会输送一个中断到CPU，从而允许失真校正在稍后的阶段内开启而无须等到视频帧处理完全结束。这一同步操作和不完全视频帧流水线操作的结合实现了从视频流的接收到视频解码和失真校正的完成仅为70 ms的低延迟（比采用28纳米工艺的现有瑞萨设备降低了40%）。

　　（2）汽车运算系统优化后的六种不同类型的17个视频处理器，提供业内领先的全高清12路性能

　　新型视频处理电路模块集成了六种不同类型的17个视频处理器，在不对CPU和GPU增加任何额外负荷的情况下实现实时和低功耗的视频处理。流处理器和编解码处理器处理视频编码和解码，渲染处理器进行失真校正，视频处理器进行一般的图像处理，混合处理器进行图像合成，显示处理器进行屏幕上图像显示的处理。各视频处理器通过多级总线相互连接。

　　视频处理电路模块原型采用尖端的16纳米FinFET工艺制作并由这些视频处理器组成，经过对这一模块原型的评估，证明其实现了真正业内领先的全高清12路的性能（比采用28纳米工艺的瑞萨现有设备提高了约3倍）。

　　（3）两种类型的数据压缩的结合，即无损压缩和有损压缩，以业内领先的197 mW低功耗减少50％的内存带宽、实现全高清12路处理

　　当进行全高清12路视频所需的大规模视频处理时，数据访问是存储器性能瓶颈和功耗的主要来源。此外，在汽车运算系统中有必要将视频处理所占用的存储器带宽最小化，避免对CPU和GPU的认知处理产生干扰。避免对必须保持较高安全级别的安全驾驶辅助系统造成影响是至关重要的。

　　由此，存储在存储器中的图像数据被压缩以减少存储器带宽使用率。无损压缩不会改变在较大硅片中的像素值和结果，而有损压缩会改变在较小的硅片中的像素值和结果，因此针对图像处理的特性，用一种适当的方式使用无损压缩和有损压缩，就有可能在一个典型的视频处理流程中减少50%的存储器带宽。特别是，当访问较小的存储器模块时存储器访问效率会降低，这意味着存储器带宽并没有被有效降低，为了避免DDR存储器的这一特有问题，高速缓存被用于视频解码，这就包括对小数据模块的大量访问。这使得增加DDR存储器的访问容量和减少70%的有效存储器带宽成为可能。对采用尖端的16纳米FinFET工艺制作的原型进行评估的结果显示，降低存储器带宽能够减少20%的功耗，这与总线上的数据处理量成正比，实现了真正业内领先的197 mW全高清12路功耗（比采用28纳米工艺的现有瑞萨设备降低了60%）。

　　新研发的视频处理电路模块可在不对CPU和GPU增加任何额外负荷的情况下进行海量视频处理，这将使它实现具实时性能、低功耗和低延时的车载信息系统和安全驾驶辅助系统相结合的汽车运算系统。瑞萨计划将新的视频处理电路模块加入其未来的汽车运算系统SoC，有助于让驾车体验更安全、更方便。

　　2月1日，瑞萨在2016年1月31日至2月4日旧金山举行的国际固态电路会议（ISSCC）上发表了这一技术。在演示环节，瑞萨通过播放全高清12路视频内容、伴随存储器带宽降低率的实时显示，展示了装有采用新型视频处理电路模块的SoC的测试板的处理性能。

　　关于瑞萨电子株式会社

　　瑞萨电子株式会社（TSE：6723），是全球首屈一指的微控制器供应商和高级半导体解决方案的首选供应商，产品包括微控制器、SoC解决方案和各种模拟与功率器件。2010年4月，NEC电子公司（TSE：6723）和株式会社瑞萨科技合并成立了瑞萨电子株式会社，公司业务覆盖了面向各种应用的研究、开发、设计与制造。瑞萨电子株式会社总部设在日本，在全球20多个国家均设有分公司。