瑞萨电子RZ/V2H MPU提升机器人与自主应用中的AI性能和实时控制

深入探索RZ/V2H MPU的主要特性，了解这款新产品如何提升您的开发。

---Shingo Kojima

Senior Principal Specialist

如今的视觉AI模型面临着动态的复杂环境，因此，在实时应用中，必须提高能效和速度。

为了满足市场需求，瑞萨电子推出了新一代DRP-AI加速器。DRP-AI加速器的能效高达10 TOPS/W，高出传统技术10倍，不仅能够运行此前需要使用GPU的复杂图像AI模型，而且功耗低至与传统嵌入式MPU相当。

除了这个AI加速器之外，高端RZ/V2H微处理器（MPU）——还配备了使用动态可配置处理器（DRP）的图像处理加速器、运行频率高达1.8 GHz的四核Linux处理器 Arm Cortex-A55、双核800MHz Arm Cortex-R8高速实时处理器以及I/O处理用的子核Arm Cortex-M33，采用异构多处理器配置。

7个基于Arm的CPU内核、新一代DRP-AI和DRP的组合，能够立即处理机械控制中的图像识别和AI判断结果，使其成为新一代自主机器人、自主移动机器人、无人机和其他应用的理想AI处理器。阅读本文，详细了解这款新产品的特性。

新一代AI加速器DRP-AI

RZ/V2M、RZ/V2L和RZ/V2MA中已嵌入瑞萨电子自研的DRP-AI加速器，同时，瑞萨电子也将独创的AI处理器DRP-AI升级到新一代，以便满足新的市场需求。

为了大幅提升电源效率，DRP-AI采用了INT8量化技术和硬件支持，以便进行非结构化剪枝，这是传统AI加速器难以实现的，由此实现了高达80 TOPS的推理性能以及10 TOPS/W的电源效率。阅读白皮书，了解更多关于非结构化剪枝的信息。

下图1展示了不同RZ/V产品之间的AI推理性能比较。对于常见的CNN类型——Resnet50，在未剪枝时（密集模型），其性能高出RZ/V2L 14倍，而剪枝后则高出45倍。

图1 RZ/V系列AI推理性能（不包括前/后处理）

动态可配置处理器DRP助力OpenCV加速器

早在深度学习问世之前，图像识别和决策应用就用到了各种方法。开源计算机视觉库OpenCV就是其中的一个例子。即使是在AI图像处理已经成为现实的今天，OpenCV仍然是一项非常实用的技术。在合适的情况下，如今可以将视觉AI和OpenCV搭配使用。

为了加速AI和各种图像处理算法（例如OpenCV），RZ/V2H MPU的设计采用了与DRP-AI分离的动态可配置处理器，以便为OpenCV加速器提供DRP库，充分发挥它的灵活优势。

下方的图2将带有DRP的OpenCV加速器与RZ/V2H四核CPU的性能进行了对比。例如，使用DRP加速后，用于图像边缘检测的Sobel滤波器的速度提高了16倍，从7.6 fps提升到123 fps。

图2 OpenCV加速器性能基准对比

AI异构配置+高速实时控制

尽管高速多核Linux处理器是图像AI的理想之选，但它需要庞大的内存资源，并且难以实现机械控制所需的亚毫秒级实时性能。

为了解决这一问题，RZ/V2H采用了四核Cortex-A55来运行Linux程序（包括AI处理在内），并针对需要高速实时性能的应用（例如电机控制），采用了专用的高速实时处理器进行RTOS处理。

借助OpenAMP，通过处理器间的通信将这些不同的操作系统相连后，DRP-AI和Linux处理器的决策结果可以由RTOS处理器实时反映在机械控制中。

图3 RZ/V2H框图

具备这些独特特性的RZ/V2H嵌入式AI微处理器已投入量产，而RZ/V2H评估板也已准备就绪，随时可以帮助您开启下一个视觉AI开发项目。

瑞萨电子 (TSE: 6723)

科技让生活更轻松，致力于打造更安全、更智能、可持续发展的未来。作为全球微控制器供应商，瑞萨电子融合了在嵌入式处理、模拟、电源及连接方面的专业知识，提供完整的半导体解决方案。成功产品组合加速汽车、工业、基础设施及物联网应用上市，赋能数十亿联网智能设备改善人们的工作和生活方式。