瑞萨RZ/V2L预训练的人工智能模型

RZ/V2L MPU配备Cortex-A55 (1.2 GHz) CPU，内置AI加速器“DRP-AI”，以提供更好的机器视觉处理性能，这是瑞萨的独创技术。“DRP-AI”由DRP和AI-MAC组成。它还配备一个16位的DDR3L/DDR4接口，具备内置Arm Mali-G31的3D图形引擎和视频编解码器（H.264）。

DRP-AI的卓越功率效率使其无需采取散热措施（如散热器或冷却风扇）。人工智能不仅可以在消费类电子产品和工业设备中经济高效实施，还可以在零售点（POS）终端等广泛的应用中实施。此外，DRP-AI还提供实时人工智能推理和图像处理功能，具有支持摄像头所必需的功能，如颜色校正和降噪。这使得客户无需外部图像信号处理器（ISP），即可实施基于人工智能的视觉应用。

RZ/V2L还与RZ/G2L封装和引脚兼容。这使得RZ/G2L用户可轻松升级至RZ/V2L，以获得额外的人工智能功能，而无需修改系统配置，从而保持低迁移成本。

点击可查看大图

今天我们为大家介绍RZ/V2L的另外一个预训练的人工智能模型——植物叶片病害分类模型，它可对38种不同的植物叶病/健康状况进行分类。所开发的模型能够从14种不同植物中识别出38种不同类型的植物病害。

植物	叶片健康状态
苹果	苹果疮痂病，黑腐病，雪松苹果锈病，健康
蓝莓	健康
樱桃	白粉病，健康
玉米	灰叶斑病，常见锈病，北方叶枯病，健康
葡萄	黑腐病，Esca（黑麻风病），叶枯病（等孢霉叶斑病），健康
柑橘	黄龙病（柑橘褪绿病）
桃	菌斑病，健康
甜椒	菌斑病，健康
马铃薯	早疫病，晚疫病，健康
树莓	健康
大豆	健康
南瓜	霜霉病
草莓	叶枯病，健康
番茄	菌斑病，早疫病，晚疫病，叶霉病，镰刀菌叶斑病，蜘蛛螨，双斑蜘蛛螨，靶斑病，番茄黄叶卷曲病毒，番茄花叶病毒，健康

它有3种运行模式，让您根据不同场景灵活转换。

1

从MIPI接口摄像头输入

2

从图片文件输入

3

从一个视频文件输入

示例运行效果

分类结果、推理时间（毫秒）、得分（%）显示在左上角 每秒帧数（FPS）显示在右上角

软硬件需求

硬件需求	软件需求
RZ/V2L评估版及标配的Coral摄像头； USB鼠标； USB键盘； USB Hub； HDMI显示器，Micro HDMI Cable	Ubunt20.04； OpenCV 4.x； C++11或更高版本

示例应用程序的编译

这是一个可选步骤，如果直接运行预编译好的程序可以跳过此步骤。

在编译之前请参考此处确保RZ/V2L AI SDK已经准备就绪。

1

从github复制代码到本地

建议将代码复制到docker容器的data目录中

cd 
git clone https://github.com/renesas-rz/rzv_ai_sdk.git

2

启动docker

docker start -i rzv2l_ai_sdk_container

3

为rzv2l_ai_sdk_container挂载 data目录

export PROJECT_PATH=/drp-ai_tvm/data/

4

进入示例源码目录

cd ${PROJECT_PATH}/rzv_ai_sdk/Q07_plant_disease_classification/src/

5

编译源码

mkdir -p build && cd build
cmake -DCMAKE_TOOLCHAIN_FILE=./toolchain/runtime.cmake ..
make -j$(nproc)

应用程序plant_leaf_disease_classify应该会出现在 src/build目录中

应用程序部署

将以下文件复制到SD卡的/home/root/tvm目录下

● 示例exe目录中的所有文件

● 如果应用有修改，则需要从src/build目录拷贝plant_leaf_disease_classify

运行示例应用程序

当输入为MIPI Coral摄像头时：

cd /home/root/tvm
./plant_leaf_disease_classify CAMERA

当使用静态图片作为输入时：

cd /home/root/tvm
./plant_leaf_disease_classify IMAGE sampleimg.jpg

当使用视频作为输入时：

cd /home/root/tvm
./plant_leaf_disease_classify VIDEO plantvid.mp4

终止示例应用程序

按esc键退出应用程序

数据集new-plant-diseases-dataset

复制链接到浏览器中打开：

https://www.kaggle.com/datasets/vipoooool/new-plant-diseases-dataset

该数据集由约87K幅健康和患病作物叶片的rgb图像组成，分为38个不同的类。整个数据集按80/20的比例分为训练集和验证集，并创建了一个包含33幅测试图像测试集。

AI推理时间

AI推理总时间（预处理+AI模型推理）- 110 ms

训练精度	验证精度	测试精度
94.2%	93.1%	90.5%

审核编辑：黄飞