使用Vitis AI和Openpose处理数据以检测跌倒检测

描述

项目概念

该项目的目标是监控独居的老年人，有摄像头（未来计划放置在许多房间）将视频输入 Xilinx ZCU104 以使用 Vitis-AI 和 Openpose 处理数据以检测跌倒检测。

我使用以下标准开发了简单的算法来检测跌倒。

• 头身角度变化超过45度
• 变化角度超过特定值的速度（此时需要反复试验）

有两种方法可以通知跌倒检测。

1) 通过 IFTTT 向预定义的号码发送短信。

2) 打开警报器。这个警报器是一个简单的网络警报器，它使用 NodeMCU 并通过发送 http://<警报器的 IP>/SirenOn 激活这将允许我们将警报器放在任何有 Wifi 信号的地方。我不会详细介绍这个项目。

在 ZCU104 板上，我们运行了一个简单的 Web 服务器，它将保存图片并从秋季开始录制视频。

项目实施

项目组件

 

我花费了 90% 的项目时间来创建具有以下组件的 SD 图像。

• 视频控制单元
• DPU
• 带有 Openpose 模型的 Vitis-AI
• 用于向 IFTTT 和 Network Siren 发送请求的 Curl 命令。

但是我未能创建完整的图像，在开发的每个阶段都有很多错误。我们可以测试 Vitis-AI 的最佳映像来自 Vitis-AI 的现成构建映像没有 VCU 但都预装了 Vitis-AI 和模型。有关更多详细信息，请访问 https://github.com/Xilinx/Vitis-AI如何创建映像并安装它。

请注意，此图像仅支持 Display Port Adapter !!。我花了将近两周的时间来弄清楚如何在带有 HDMI 端口的普通屏幕上显示。（图中我借了朋友的有Display Port的显示器试了半天）

- Ubuntu 或 Linux 机器运行带有 -Y 选项的命令 ssh 到 ZCU104 板。-Y 表示启用信任者 X11 转发。如果不指定 -Y 选项。您可能会收到错误“权限被拒绝。无法打开显示”例如

$ssh -Y root@

登录后，使用命令 echo $DISPLAY 获取显示环境。您可以将此值用于串行终端控制台以在您的 Linux 机器上显示 Windows（DISPLAY 环境将类似于 localhost:10.0）

- Windows 机器。您需要安装 X 服务器程序。我使用 VcXsrv 程序。当使用 Xlaunch 启动 VcXsrv 时，不要忘记禁用访问控制（在最后一个屏幕上）以接受来自所有客户端的连接。在ZCU104板子上，设置环境DISPLAY=:0.0

使用来自 USB 摄像头启动程序的输入

$./FallGuard openpose_pruned_0_3 0 -t 8

使用来自视频文件的输入（目前仅支持.webm 格式）

$./FallGuard openpose_pruned_0_3 -t 8

要在主机上编译程序，我们需要为 Arm 64 位设置环境。通过使用命令 $source /environment-setup-aarch64-xilinx-linux 例如我的 SDK 在 /opt/petalinux/2020.1/

build.sh是编译程序的脚本，编译后使用 scp 将文件复制到目标 ZCU104 板。前任。scp FallGuard root@:~/ ~ 表示复制到主目录。

有两种方法可以通知跌倒检测。

1) 使用 IFTTT webhook 通过 webhook 使用 curl 命令通过 post FallDetect 事件发送 SMS。有关详细信息，请参阅 process_result.hpp 中的第 67 行。

2) 将 SirenOn 值发布到网络警报地址。（第 69 行）为了便于实施，此时警报地址是固定的（第 17 行）。这个值是通过设置路由器来固定网络警报器的mac地址的ip地址来固定的。

使用 Arduino 编译，不要忘记在程序内部定义 SSID 和 Password。我们仅使用 5 V 供电，即使警报器可支持高达 12 V。

实现的最后一部分是 Web 服务器。我们使用来自busybox的简单Web服务器（httpd）来实现简单的Web服务器，当跌倒检测发生时显示图片和视频。这将通过在项目目录中调用脚本startweb.sh开始，或者您可以将此脚本放在 .bashrc 中以自动启动。

图片为jpg格式，视频为avi格式。这些操作由 OpenCV 库完成。请注意，编码器（本项目中的 MJPG）和容器（.avi）以及图像的大小（2304、1536）必须匹配。否则，视频将无法阅读。我仍然对这些组合感到困惑。所以我无法解释更多。我尝试了其他组合 Ex。encode = Mpeg 和 container = mp4 但它不支持。（这个还有待开发的领域）

项目成果

我们已经在视频文件和 USB 摄像头上测试了跌倒检测。当人直接面对相机时，两者都可以正常工作。但如果人站在旁边或某个角度，Openpose 无法正确确定手势。这需要通过安装不同角度的摄像头或使用其他算法来帮助对侧面手势进行分类来改善。通知有时也需要，这是由于网络配置和网络速度造成的。（有时快有时慢）

下落速度需要根据不同场景进行调整和广泛测试。例如，如果您打算睡觉（缓慢移动），系统不应故障警报并认为它正在下降。不同的跌倒检测算法将有助于检测的准确性。

从视频中，您会看到屏幕上的动态和图片之间存在一些滞后，并且警报激活。这应该通过 VCU 加以改进。

包起来

这个项目还有更大的发展空间。应该测试不同的场景并提高Camera处理的速度。（如果我们可以使用 VCU，这些问题就会得到解决） 系统鲁棒性将非常重要。当有人摔倒并且系统停止工作时，我们不希望系统挂起。这将使生命处于危险之中。