在Arduino Nano BLE Sense 33边缘设备上训练神经网络

描述

TeamName- 尤达

TeamMembers- Tharun Medini（只有我）

Goal

该项目的主要任务是在 Arduino Nano BLE Sense 33 等边缘设备上训练神经网络。该设备的内存和处理能力非常有限。因此，我们需要将神经网络压缩到一个非常小的占用空间，然后将其与某个特定任务的真实输入信号结合使用。

Task

我选择了唤醒词检测任务。在这个任务中，我们需要边缘设备（Arduino Nano BLE Sense 33）来听声音，并将口语分类为“是”、“否”、“不是”和静音。为了观察性能，我们打算在我们说“是”时点亮板上的绿色 LED，当我们说“否”时点亮红色 LED。换句话来说，当我们保持沉默时，蓝色的 LED 应该会亮起，并且什么都不会亮起。

WorkFlow

涉及的三个主要步骤是 1) 在 Tensorflow 中训练机器学习模型 2) 将模型量化为低位（通常为 8 位）并将其转换为 C 代码和 3) 构建并将其上传到 Arduino Nano BLE Sense 33 板。

Data and Model

用于训练的数据集是一个语音命令数据集，它有 65000 个数据点，对应于 30 个单词的一秒话语。我们对数据进行预处理，将 30 个类修改为仅 4 个。两个类明确表示“是”和“否”，将 28 个单词放入一个名为“未知”的类中，最后一个类表示沉默。数据被预先特征化为 2D 频谱图，并使用 CNN 进行训练。

Arduino Issues

我订购了两块 Arduino Nano 板，因为我在使用第一块时遇到了很多问题。可操作性是命中注定的。我还订购了具有显式数据模式和电源模式切换的电缆，因为默认电缆无法正常工作。

另一个主要问题是，从 Arduino IDE 上传代码后，COM 端口发生变化，Arduino 断开连接。但是，使用网络编辑器，我克服了这个问题。