ActionAI：自定义跟踪和多人活动识别

去年夏天，谷歌研究人员描述了一些创新，这些创新导致了围绕使用动力学数据集执行人类活动识别(HAR)的最新技术水平。

由于我们想让开发新的AI 社交应用程序变得更容易，因此我们强调将我们的方法专门用于您的自定义HAR 任务的简单性。

我们还发现这种方法在为客户构建资源利用率和活动监控演示“黄色沙发”方面非常有效，因为我们探索了级联推理以提取有关人员的其他属性。

姿态估计有助于表征活动并定位到感兴趣区域以进行二次推理

。OpenCV就足够了。对于姿势估计，我们使用通过流行的深度学习框架（如Tensorflow和Pytorch）实现的Openpose 。

准确识别某些活动需要更高的时间分辨率和更高的帧速率，因此我们使用TensorRT转换器在 Jetson Nano等 edgeAI 原型设备上优化推理。

ActionAI 的主要编程抽象是一个可追踪的人类，类似于这个pyimagesearch可追踪对象。该对象有一种方法可以将 N（14 或 18）个新关键点的配置作为长度为 2N 的 numpy 数组放入循环缓冲区中。为了计算效率，我们更喜欢较小的缓冲区，但我们平衡了这一愿望，以提供足够的信息作为二级模型的输入。该对象还封装了 id、边界框或运行附加推理的结果。

二次推理引擎对通过姿势估计发现的每个人进行深蹲与旋转分类

为了跟踪人物实例，我们使用了 scikit-learn实现Kuhn–Munkres 算法，该算法基于连续时间步之间边界框并集的交集。这个博客很好地阐述了应用这个算法来执行匹配。

与其他 IVA 框架一样，我们合并了视觉叠加层以支持 ML 可观察性和内省以及视觉叙事。

或者，我们可以将 ActionAI 与消息代理集成，以将推理结果流式传输到云端以进行日志记录或其他处理，类似于 Deepstream SDK 的参考应用程序。

在另一个方向上，通过轮询通过 USB 连接到 Jetson Nano 的 PS3 控制器的按钮按下情况，我们可以轻松地以交互方式为每个时间步的人物实例注释活动，就像我们对MuttMentor 所做的那样。

这为使用 ActionAI、Jetson Nano、USB 摄像头和 PS3 控制器丰富的输入接口的人类活动识别、人类对象交互和场景理解任务提供了一个理想的原型设计和数据收集平台。

在YogAI中，我们发现姿势估计序列是从相对较少的样本中识别运动的强大特征。

在这里，我们对面部关键点进行了实验，发现了作为 Kaggle 的 DeepFake Challenge的一部分，用 Deep Fakes 生成的眉毛中的时间不一致。

真正的眉毛不会那样做！

除了额外的关键点模型，我们还可以为每个可跟踪的人物对象引入图像纹理和颜色的上下文以及描述符。

双路径有助于以较低的频率有效地处理颜色和纹理特征，同时以更高的频率分析基于运动的信息。

我们可以通过向配置为以不同频率运行的跟踪器添加新方法来引入类似的慢-快建模范例。然后 ActionAI 可以结合额外的缓慢变化的颜色和纹理上下文来执行动作识别。

ActionAI 在运行基于 LSTM 的辅助分类器以及时识别关键点特征序列的活动方面表现良好。然而，我们可以在运行基于 CNN 的动作识别模型之前引入方法来渲染频谱图以对该序列进行傅立叶平滑。

最后，通过开发 gstreamer 插件，我们可以实现更高的性能并进一步推广这项工作，同时将这种方法更无缝地集成到使用 Deepstream SDK 开发的应用程序中。