基于瑞萨RZ/V2H AI微处理器的解决方案：高性能视觉AI系统

 

RZ/V2H嵌入式AI微处理器，采用瑞萨最新的DRP-AI3技术，可提供高达8TOPS（Dense模型）/80TOPS（sparse模型）的AI推理能力，以及10 TOPS/W的高能效。它既满足处理复杂的实时物体识别及推理，同时功耗可与传统的嵌入式MPU相媲美，无需冷却风扇。这里介绍基于RZ/V2H的解决方案：高性能视觉AI系统。

RZ/V2H产品优势

■ 瑞萨最新的DRP-AI3加速器，最高可达8TOPS（Dense模型）/80 TOPS（Sparse模型）推理能力

■ 高能效的DRP-AI3无需风扇，降低了冷却组件和系统成本

■ 4路摄像头，支持ISP处理

■ 高实时性CPU，实现AI与控制的高级协同

■ DRP加速了OpenCV等传统图像处理

RZ/V2H框图

RZ/V2H主要功能

CPU: 7核

■ Cortex-A55（1.8GHz） x 4核

■ Cortex-R8（800MHz） x 2核

■ Cortex-M33（200MHz） x 1核

AI推理与图形加速器：

■ AI加速器DRP-AI3

■ 动态可重构处理器（DRP）

图形视频处理：

■ MIPI CSI-2 4L摄像头接口4路

■ Arm Mali-C55 ISP 4K

■ H.264/265编解码

■ Mali-G31 GPU

■ MIPI DSI 4L显示输出

高速接口：

■ 64位LPDDR4/LPDDR4X内存接口

■ 千兆以太网2路

■ USB3.2（Gen2）接口2ch（仅限主机）

■ PCIe接口（Gen3/4通道）1通道

■ CAN接口（CAN-FD）6ch

封装：

■ 19x19mm 1368引脚BGA 0.5mm间

 

解决方案：高性能视觉AI系统

高端视觉AI MPU采用瑞萨电子的DRP-AI高效AI加速器和OpenCV图像处理加速器，可帮助下一代机器人实现实时目标检测。例如，该器件可兼容使用摄像头监控周围环境并估计其位置的机器人吸尘器以及使用摄像头检查和拾取指定零件的工业机器人。

系统框图

系统优势

借助最大容量为80TOPS（sparse模型）的新一代人工智能加速器DRP-AI，可实现高精度和高速图像人工智能系统片上高速Arm Cortex-R8双核RTOS处理器，可在单芯片上实现机器人所需的实时控制。

即使是在AI开发方面经验不足的客户也可以使用预先训练的免费AI应用程序和AI SDK（一种AI开发环境）快速开发图像AI系统。

高性能视觉AI系统

开发环境

瑞萨提供灵活丰富的AI开发环境，包括全套软件开发套件SDK、多种AI转换工具及丰富的与训练库，可以满足从刚入门的开发者到专业的开发者对于各类AI开发的要求。

RZ/V2H AI软件开发套件（AI SDK）

RZ/V2H AI软件开发套件为RZ/V2H开发板提供AI应用开发环境，包括AI SDK软件包及AI SDK源代码，用户可以快速、容易地建立和运行AI应用。

下图展示通过3步将用户所需AI应用在V2H硬件上部署和运行。

 

RZ/V2H AI模型转换工具

■ DRP-AI Translator（DRP-AI转换器）：这工具用于将ONNX（开放神经网络交换）格式的训练AI模型转换为可由DRP-AI执行的对象格式。

■ DRP-AI TVM：此工具是DRP-AI转换器到TVM后端的扩展。CPU和DRP-AI可以协同工作，对AI模型进行推理处理。

■ DRP-AI EXTENSION：此工具是DRP-AI扩展包，用于在AI模型训练环境中创建稀疏模型。

下图展示了以上3个DRP-AI工具在RZ/V2H在AI应用开发中的作用。

RZ/V的预训练库——免费的AI应用程序库

基于RZ/V的AI应用，提供源代码、预构建用二进制文件以及预训练AI模型。用户可以根据需要选择不同AI应用类别。

 

如何获取以上开发环境

丰富的AI应用一站式网站指南，易于查找和获取以上最新版的软件及工具。瑞萨也不断发布易于使用的AI应用程序，减少客户开发周期和难度。