你知道3D运动雕塑吗？利用AI检测人体2D图像并恢复成3D模型

你知道3D运动雕塑吗？MIT、Google和UC Berkeley的研究人员创建了一个名为MoSculp的AI系统，只需视频输入，利用AI检测人体2D图像并恢复成3D模型，就能创造出超现实主义的3D运动雕塑。

雕塑大家都认识，3D电影想必大家也都看过，但你知道3D运动雕塑吗？

简单地说，这是一种独特的展示人体如何运动的方式。3D运动雕塑（3D motion sculpture）可以将任何物体的移动路径形成3D视图，物体的形状、运动轨迹都会影响最后的效果。

将雕塑和3D这两种艺术混合起来的这些作品，是由MIT计算机科学与人工智能实验室、Google Research以及加州大学伯克利分校的研究人员共同创造的。他们利用AI系统产生了这些超现实主义的运动与姿势的混合。

作为输入的运动影像

创作3D运动雕塑

这个系统被称为MoSculp，在论文《MoSculp：形状和时间的交互式可视化》中有详细描述。该论文将于下个月在德国柏林的用户界面软件与技术大会（UIST）上发表。

论文的第一作者、MIT博士生张修明（Xiuming Zhang）认为，这一技术可以用来为想要提高技能的运动员提供详细的运动研究。

3D运动雕塑可用作运动研究

张修明说：“想象一下，你有一段费德勒在网球比赛中发球的视频，还有一段你自己练习打网球的视频。你可以用MoSculp创建两种场景的运动雕塑，然后进行对比，更全面地研究你需要改进的地方。”

具体来说，这个系统的工作有多个步骤：

首先，MoSculp能够检测人体及其2D姿态，利用的是CMU感知计算实验室开发的多人关键点实时检测库OpenPose，估计每个帧中的关键点（踝关节，肘关节，髋关节等）。

自动检测关键点

接下来，MoSculp将2D姿态恢复成一个3D人体模型，展现人体的整体形状和人体随时间运动的姿态。

AI通过3D空间扫描这个模型，以创建初始运动雕塑，但正如研究人员指出的那样，这个模型缺乏纹理和结构细节，比如精细的面部结构、头发和衣服。

有没有聪明的解决方案呢？

研究人员提出将雕塑插入到原始视频中，而不是将3D内容从视频映射到场景中。

为了防止出现伪影和遮挡，MoSculp估计出每个帧中人物和雕塑的深度图（depth map），并将两者进行比较，以确定人是比雕塑更接近摄像机还是更原理摄像机。

然后，MoSculp从所有帧中提取主体的前景蒙版，以细化初始深度图。

原始视频

估计模型

以下是该系统在实践中的工作原理：

将视频加载到系统后，MoSculp将检测到的关键点覆盖在输入帧上，并通过几个随机选择的帧来验证。（内置的校正工具可以让用户在必要时进行调整。）在对“暂时不一致的检测”进行校正后，它会生成运动雕塑，并将其加载到自定义界面中。

在MoSculp中，用户可以在雕塑周围导航，或使用3D打印机进行打印。系统提供工具允许用户自定义材料、身体部位、场景背景、光照条件和其他美学特征。

MoSculp的界面

目前，MoSculp只使用于单个主体的视频，不过研究团队希望将其扩展到多人。未来，他们认为这个系统可以用来研究社会障碍、团队动力和人际互动等。

“舞蹈和高技能运动通常看起来像'移动的雕塑'，但它们只能形成稍纵即逝的短暂形状，”Adobe传播负责人Courtney Brigham说。

“这项工作展示了如何利用动作，并将动作转换为具有客观运动可视化的真实雕塑，为运动员提供了一种分析他们的训练动作的方式，而且成本只需一台运动相机和一些计算时间。”