一个端到端的深度学习系统，可以将足球比赛的YouTube视频转换为运动的3D全息图

你有没有想过让C罗、梅西或者内马尔在你家桌子上踢一场比赛会是什么样子？华盛顿大学、Facebook和Google的研究人员开发了第一个端到端的深度学习系统，可以将足球比赛的YouTube视频转换为运动的3D全息图，使用AR设备就可以观看到3D全息投影的足球比赛。这项研究将在 CVPR 2018 会议上首次亮相。

世界杯来了！央视名嘴白岩松调侃“俄罗斯世界杯，中国除了足球队没去，其他的都去了”，这届世界杯，中国球迷购买球票的数量在所有国家中排名第9，可见球迷对世界杯的热情。那么，除了准备好小龙虾在电视机前观看世界杯比赛，你有没有想过让C罗、梅西或者内马尔在你家桌子上踢一场比赛会是什么样子？

华盛顿大学、Facebook和Google的研究人员开发了第一个端到端的深度学习系统，该系统可以将足球比赛的YouTube视频转换为运动的3D全息图。

用CNN重建一场足球比赛

“对一场足球比赛进行单目重建有很多挑战。我们必须估计相对于场地的摄像机姿态，检测并跟踪每个球员，重新构建他们的身体形状和姿势，并对联合重建进行渲染，”研究人员在他们的研究论文中写道。

图1：以足球比赛的YouTube视频为输入，系统输出比赛的动态3D重建，可以使用增强现实设备在桌面上以交互式的方式观看。

这种方法的关键是卷积神经网络（CNN），研究人员通过训练CNN来估计每个球员与拍摄比赛的摄像机之间的距离。该网络分析了从足球视频游戏《FIFA》中提取的12000张2D球员图像，以及从游戏引擎提取的相应3D数据，以了解两者之间的相关性。

这样，网络就能从没见过的2D图像中预估球员的深度图（depth maps）。当被展示没见过的视频时，系统能准确地预测每个球员的深度图，并将其与颜色素材结合，以3D的方式重建每个球员。

图2：重建方法的概览

以YouTube视频的帧作为输入，我们使用field lines来恢复摄像机参数。然后，提取边界框、姿势和轨迹（跨多个帧）来分割球员。通过在视频游戏数据上训练好的深度网络，我们在游戏环境中重建了每个球员的深度图，这样就可以在3D查看器或AR设备上呈现出来。

然后，球员们被放在一个虚拟的足球场上。其结果令人惊叹，并且可以通过3D查看器或AR设备从任何角度观看比赛。

图3：训练数据：从《FIFA》游戏中提取图像和对应的深度，这里展示了几个可视化为深度图和网格的例子。

该团队使用NVIDIA GeForce GTX 1080 GPU和NVIDIA TITAN Xp GPU，以及cuDNN加速的PyTorch深度学习框架，在从世界杯比赛视频中提取的数小时的3D球员数据上对卷积神经网络进行训练。

基于这些比赛视频数据，神经网络能够重构球场上的每个球员的深度图，这些图可以在3D查看器或AR设备上呈现。

“事实证明，在玩EA的《FIFA》游戏并截取游戏引擎和GPU间的调用时，可以从视频游戏中提取深度图。具体来说，我们使用RenderDoc来截取游戏引擎和GPU之间的调用。”研究团队表示：“FIFA与大多数游戏类似，在游戏过程中使用延迟渲染。通过访问GPU调用，可以捕获每帧的深度和颜色缓冲区。一旦特定的帧被捕获了深度和颜色，就可以提取出球员。”

图4：合成数据集的结果以及与当前最优技术和ground truth的比较，可视化为depth maps和3D网格。我们的方法更准确，实现了更好的网格重构。

为了验证这个系统，研究团队用YouTube上找到的10个高分辨率的职业足球比赛视频测试他们的方法。值得注意的是，该系统只在合成视频素材上进行训练。但是，在真实的场景中，系统也有非常好的结果。

来自YouTube视频的实际图像的结果

从Youtube框架开始（顶行），我们网络重建的深度图可以添加到虚拟3D球场环境中，这里显示为仅网格和纹理渲染（第2-4行）。

研究人员用微软的HoloLensAR眼镜进行测试。HoloLens可以将3D重建叠加到真实的桌面上。最终的产品虽然不完美，它无法重建球，不能实时地工作，并且只允许从视频录制的球场侧面观看。但是，这项技术可能比当前3D重建运动的最先进方法更具可扩展性，因为当前的方法需要在每一个角度布置相机。研究人员称，这种方法也适用于预定义的其他事件，例如音乐会或剧场。

桌面实际的场景

用HoloLens看到的场景

研究人员承认他们的系统并不完美。他们的下一个项目将专注于训练系统以更好地检测球，并开发可从任何角度观察的系统。

这项研究将于6月18日至22日在犹他州盐湖城举行的年度计算机视觉和模式识别（CVPR）会议上首次亮相。