M5StickC&V的应援表开源硬件

描述

我发了手表给你的运动和欢呼。

我叫加油表！！

成像加速数据

M5StickV 的加速度被成像。加速度以 x = R，y = G，z = B 的 8x8 RGB 输入。这是必需的，因为 KPU 仅支持图像。

MPU 输出的数据需要转换，因为减号是补号。

accel = i2c.readfrom_mem(MPU6886_ADDRESS, MPU6886_ACCEL_XOUT_H, 6)
accel_x = (accel[0]<<8|accel[1])
accel_y = (accel[2]<<8|accel[3])
accel_z = (accel[4]<<8|accel[5])

if accel_x>32768:
    accel_x=accel_x-65536
if accel_y>32768:
    accel_y=accel_y-65536
if accel_z>32768:
    accel_z=accel_z-65536

 

加速度的动态运动表现为云纹。在X方向进行8个点后，在Y点方向进行。由于图像中垂直和水平像素的数量、传感器的采样率和手部运动的周期性。

将图像数据保存到 SD 卡。

 

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/m5stickv_maixpy/m5stickv_imu_to_pixel_record_191027.py

为 Ubuntu 安装 TensorFlow/Keras

本课程使用 Ubuntu18.04 或适用于 Linux 的 Windows 子系统。

安装 Miniconda 并创建 Python 环境。Miniconda 安装程序是从 Miniconda 网站下载的。

Miniconda：https://docs.conda.io/en/latest/miniconda.html

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

在 Miniconda 上安装 Python、TensorFlow、Keras 等。

conda create -n ml python=3.6 tensorflow=1.14 keras pillow \
numpy pydot graphviz

激活康达。

conda activate ml

安装 kendryte nncase

nncase 将使用 Keras 或 TensorFlow 创建的学习数据转换为 KPU 学习数据 kmodels。

nncase github: https://github.com/kendryte/nncase/

mkdir ./ncc
cd ./ncc
wget https://github.com/kendryte/nncase/releases/download/v0.1.0-rc5/
ncc-linux-x86_64.tar.xz
tar -Jxf ncc-linux-x86_64.tar.xz

凯拉斯学习

加速模型是通过深度学习创建的。每个活动的加速度图像都被分类到 M5StickV SD 卡中。使用 Keras 从 CNN 的分类和图像中学习。学习结果用 Kmodel 保存。

 

按照以下命令在 Ubuntu 上运行 PYTHON 程序。

python keras_motion_larning_191030.py

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/keras/keras_motion_larning_191030.py

生成名为 A 的“my_model.kmodel”文件。

闪存图形用户界面

用工具编写m5stickv固件和kmodel。

 

画脸说话

显示一张友好的脸来帮助你。这张脸像万向节一样旋转到倾斜。此外，音频根据动作输出。

 

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/m5stickv_maixpy/m5stickv_imu_to_pixel_detec_191027.py

环境连接

m5stickv 无法连接到互联网。所以将它连接到 M5StickC 并连接到互联网。将运动数据发送到日本的环境云服务。

 

m5stickc软件使用arduino创建编程。从URT接收并发送到AMBIENT。它还从网络获取当前时间并显示时间。

 

https://github.com/anoken/CheeringWatch_M5StickC-V/blob/master/m5stickc/m5stickc_time_recieve_activity_send_ambient.ino