3D视频源格式 - 裸眼3D立体显示技术详解

　　2、3D视频源格式

　　目前3D视频源格式有多种，不同的视频格式具有不同的优缺点，本节将对几种常见的3D视频源格式做简要的分析与介绍。

　　2.1 左右视图

　　左右视图格式采用左视图和右视图并排传输的方式，如图 3 所示。传统的立体电影或立体电视一般采用基于左右视点两路 2D 视频的表达方式，这是由于左右视图格式虽然水平分辨率损失了一半，但完整的保存了原左右视图的垂直分辨率。

　　MPEG-2 MVP（Multi-view Profile）使用时域伸缩工具，提供了对双目立体视频的编码支持。将一路视频（左视）作为基本层，另一路视频（右视）作为增强层。MPEG-4通过使用MAC（Multiple Auxiliary Component）存放视差信息，支持双目立体视频的编码。采用左右视图格式的3D视频源，解码重建原始视点的计算比较简单，但在绘制其它虚拟视点时需要做立体匹配，因而计算较复杂，且随着绘制视图的视差值增大，合成的视图质量将随之下降。因此，左右视图格式较适合双目立体显示，在多视点自由立体显示中应用较少。

　　

　　图 3 左右视图3D格式

　　Fig.3 Side-by-side3Dformat

　　2.2 上下视图

　　上下视图格式采用左视图和右视图上下排列的方式传输，如图 4 所示，这种格式与左右视图格式类似，只是它完整的保存了原左右视图的水平分辨率，而垂直分辨率损失了一半。

　　

　　图 4 上下视图3D格式

　　Fig. 4 Top-and-bottom3Dformat

　　2.3 视频+深度图（video plus depth， V+D）

　　“V+D”格式包含了一幅彩色图和相应的深度图，如图 5 所示，其中深度图表达了 2D 图像中的像素点与3D场景中真实点之间的距离，即空间信息，深度信息是非常重要的几何信息，对3D场景的编码和重构具有重要的意义。采用 DIBR（Depth-Image Based Rendering）算法可以方便的绘制出任意视点。欧洲的 ATTEST 项目采用了“V+D”格式，其中 2D 彩色视频采用MPEG-2 编码，深度采用 MPEG-2、MPEG-4或H.264 进行编码，“V+D”的3D格式已标准化为 MPEG-C Part3，即 ISO/IEC 23002-3。Philips已发布了基于“V+D”格式的3D显示器接口规范白皮书，并且推出了相应的显示器产品。本文采用的3D输入视频源格式即为“V+D”，作为DIBR系统的视频输入，通过 DIBR 系统绘制得到多个视点视图，生成裸眼3D内容。

　　

　　图 5 “V+D”3D格式

　　Fig. 5 Video plus depth3Dformat

　　2.4 多路视频+深度（multi-view video plus depth， MVD）

　　由于多路视点视频需要传输多路数据，因而传输数据量太大，在实际中难以实现，采用 MVD 格式可以有效的解决这个问题。与“V+D”格式类似，MVD 格式传输 2D 视频序列和相应的深度图序列，通过 DIBR 绘制得到虚拟视点，而与“V+D”格式不同的是，MVD 格式需要传输多路 2D 视频和深度序列，多路视频中的信息互补可以有效地解决遮挡、空洞问题，扩展视角范围，从而使绘制的虚拟视点质量得到了大大提高。图 6 显示了ballet 序列 MVD 格式。

　　

　　（a） 第一个摄像机在时刻 1~4 拍摄的 ballet 彩色图以及对应的深度图

　　

　　（b） 第二个摄像机在时刻 1~4 拍摄的 ballet 彩色图以及对应的深度图

　　图 6 MVD3D格式

　　Fig. 6 Multi-view video plus depth3Dformat

　　2.5 分层深度视频（layered depth video， LDV）

　　分层深度视频格式即消除遮挡格式，是由 Philips 在“V+D”格式的基础上提出的，即 LDI（layered depth image），通过再增加一层“V+D”，描述背景中被遮挡区域的视频及深度，将3D场景分解为前景和背景，用两层“V+D”来描述。图 7分别为“V+D”“全背景消除遮挡”格式和“V+D”“去冗余消除遮挡”格式，全背景消除遮挡格式包含全部的背景信息及其深度图，去冗余消除遮挡格式包含背景中被遮挡的 2D 图像及其深度图。此种格式较适用于深度平滑的背景上叠加虚拟合成的动画对象的场景，对于深度层次丰富的自然场景，特别是对法线与光轴方向接近垂直的物体表面的信息，还是不能很好地表达。

　　

　　图 7 LDV3D格式

　　Fig. 7 Layered depth video3Dformat

　　3、裸眼3D显示技术

　　根据显示原理和光学结构的不同，裸眼3D显示技术主要有光屏障式（parallaxbarrier）、柱状透镜技术（lenticular arrays）以及集成成像技术（integral imaging）。

　　下面简要介绍这几种技术。

　　3.1 光屏障式技术

　　夏普公司欧洲实验室的工程师们经过 10 年的研究，开发了光屏障式技术，基于该技术的自由立体显示可以在三维/二维模式间进行切换，凭借该技术夏普在2002 年底成功的向市场推出了自动立体液晶显示器。如图 8 所示，光屏障式技术由高分子液晶层、LCD 面板、开关液晶屏及偏振膜等组成，视差障壁是通过利用液晶层和偏振膜产生方向为 90°的一系列垂直条纹形成的，这些垂直条纹宽几十微米，当光通过时就形成了垂直的细条栅模式。