3D人体扫描技术也可以用一种另类的方式达到相似的效果

最近在各社交平台上大火的《头号玩家》想必大家都看过，抛开片中大量的彩蛋不提，该片搭配的VR技术，展现出的真实沉浸感也非常吸引人。不过，除了VR技术，3D人体扫描技术或许也可以用一种另类的方式达到相似的效果。

3D人体扫描技术，是利用光学测量技术、计算机技术、图像处理技术、数字信号处理技术等进行三维模拟人体表面轮廓的非接触自动测量。这种技术的应用在现实生活中并不鲜见。前段时间苹果的Animoji和三星的AR emoji都来源于这种技术，这种技术也可以应用到服装试穿中，甚至有健身房依靠采用这种技术测量各种关乎健康的关键数值（体重指数、体脂成分等等）来吸引顾客。

不过，现有的方案有一个缺点，有的扫描装置需要特殊的照相设备来检测景深，有的则需要照相机矩阵来探查人体，而最近，德国布伦瑞克工业大学和 Max Planck Institute for Informatics 的研究人员发表了一篇论文，提出一种新的算法，可以使用单个角度的标准视频素材为人体创建 3D 模型，用时仅需数秒。

这篇论文描述了如何为单目视频中的移动人体做准确的 3D 建模。基于参数化的人体模型，论文提出了稳健的处理流程，对穿衣服的人群也能够获得 大约5mm 分辨率的 3D 模型。另外，论文中展示了对大量物体的评估结果，并分析了整体表现。可以说，只需要一个智能手机或者摄像头，这种方法就能让每个人都创造自己的全动画数字孪生体，并可应用到社交 VR 或者在线时装购物的虚拟试穿。

图 1：本论文提出的技术首创从人的单个视频序列中提取精确的 3D 人体模型，包括头发和衣服，这些人在摄像机前面移动，从而保证我们能从各个角度看到他们（图片来自论文）

具体来说，论文提出的方法由 3 个步骤构成：（1）姿势重建；（2）一致形态评估；（3）帧精炼和纹理图生成。其中第一步基本采用以前的研究，第三步中的纹理获取和时变性细节是可选性的。

第一步，论文采用标准可视外壳方法从多个视角捕捉静态形状。穿过图像轮廓点的相机光线可以约束出一个3D人体形状。本论文中，研究者首先拟合 SMPL 模型和 2D 检测，估计每一帧的初始人体形状和 3D 姿势。基于拟合结果，研究者将每一帧中的轮廓点与人体模型中的 3D 点结合起来，根据每个投影光线的对应 3D 模型点的反向变形模型，变换投影光线；处理所有帧的拟合结果后，就得到了一个“可视外壳”，即以标准姿势展示的人体形状。

在多个 3D 数据集上的研究结果表明本论文提出的方法可以重建 3D 人类形状，即使单目视频很模糊的情况下，准确率仍然高达 4.5 mm

为了评估对象的一致形态，研究者首先计算每个帧的 3D 姿势。他们扩展了 评估的方法，使其鲁棒性更好，以最大化地显示每帧实例中的轮廓。在评估过程中，由于时间的变化，衣物可能会有微小的变形变形，这些姿势的一致形态可能和帧轮廓有轻微的错配。

在视频序列中估计几何图形时，研究者需要一次优化多个姿势，更重要的是，优化过程中需要在内存中存储多个模型，使得计算成本高昂，且可行性不强。

研究者采用基于 SMPL 高效优化单个位移面的方法，一次性拟合所有帧，这要求只能在内存中存储一个模型。他们的方法首次实现从单个运动人体视频（这样我们可以从各个侧面看到这个人）中提取出准确的 3D人体模型（包括头发和衣服）。

最后，为了计算纹理和捕捉时间演化细节，第三步中将对一致形态的偏离进行每一帧的优化，从而给出精炼的逐帧形态，以此计算纹理图。本文的方法依赖于图像的前景分割。因此，研究者使用了中基于 CNN 的视频分割方法，并对每个序列用 3-4 个手工分割图像进行训练。另外，为了克服在单目时3D人体形态重构中模糊性的问题，研究者使用 SMPL 身体模型作为起始点。

图 7：定性测试结果：因为重构的模版与 SMPL 人体模型有同样的拓扑结构，我们可以使用 SMPL 来改变重构形体的姿态和外形。虽然 SMPL 不建模带衣着人体的变形，但变形模版看起来还是可信的，从质量上来看足够承担多种应用。

图 9：输入图像（竖线左）与构建形象（竖线右）的对比。正如图像右侧所示，用本文方法构建的形体准确地覆盖了输入图像。在右下角还呈现了构建模型的侧面视角。

之前我们已经提到过一个可以对人体全身进行识别的技术（Facebook新研究为未来全身AR打下基础），它与这次讨论的技术是有差别的，Facebook的新研究识别出的人体是2D而非3D，但它们之间也有联系，譬如二者都采用基于CNN的视频分割方法来识别人体轮廓和纹理。实际上，论文中也说明识别纹理的方法并不是创新性的。

这篇论文中提出的新的人体3D扫描建模技术，完全可以只使用一个摄像头，因此，它可以大量应用到智能手机上。另外，它不仅可以应用到服装的试穿中， 同样可以通过对人体的扫描，让建立出的模型和其它的虚拟物体互动，算是另类的做到了《头号玩家》的标准。当然，后者对处理器的计算能力要求会很高，也可能不会有更好的沉浸感。对论文感兴趣的同学也可以戳阅读原文下载。