交互式三维视频技术

交互式三维视频是近年来兴起的一种新型媒体。它在传统的二维视频的基础上，增加了视觉的现实感和逼真感。用户在欣赏节目的同时，能够自由的选择视点与视角。交互性是这种媒体的重要特征。为了提高不同实现之间的互操作性，ISO/MPEG1制订了相关的规范标准。本文从交互式三维视频的分类、表示、编码和相关的应用等方面对该技术进行了详细的介绍。
关键词 三维视频 视频编码 视频表示 全景视频

随着多媒体技术的不断发展，交互性将成为未来多媒体技术的一个主要特征[1][2]，具有交互性的多媒体技术将使我们能够在某些方面由被动观赏转化为主动欣赏。例如我们可以在一个场景中改变我们的视角和视点，选择我们感兴趣的区域进行观赏。为此视频技术也需要由二维向三维转变。和普通的二维视频相比，三维视频增加了场景的深度信息，增强了视觉的现实感和逼真感，可以给用户提供全方位沉浸式的感受。三维视频技术可以广泛应用于数字电视、远程教育、远程工业控制、三维视频会议系统、虚拟现实系统等诸多方面。
为了表示这些三维视频数据并对之进行编码， ISO/IEC2 制定了一套虚拟实景描述模型语言 VRML3。用它可以描述三维物体及其行为，构建虚拟世界，建立互联网上的交互式三维多媒体。虽然VRML有许多优点，但是由于VRML是面向图形的，绝大部分场景是使用计算机产生的图形或者是静态的图片，场景的真实感非常有限。
作为VRML的补充，ISO/MPEG 正在联合企业制定新的标准来增强三维视频的真实感和交互性。例如在早期的MPEG-4标准中，使用者可在图像或比特流中选择一个具体的对象(Object)，随后改变它的某些特性，提供将自然视频图像同合成数据(文本、图形)有效结合的方式，同时支持交互性操作。MPEG-4中的场景描述语言BIFS4规定了压缩的二进制格式，特别适合三维视频的在线传输和流化（组成流媒体数据）。最近的MPEG-4标准又对它进行了扩展，其中动画框架扩展AFX5对自然场景规定了新的格式，同时AFX也提供了新的工具来对自然图像中的场景对象使用表面光场和深度图像绘制技术进行建模等[4]。
本文从计算机图形学、计算机视觉和经典媒体的角度，结合ISO/MPEG的相关研究，对三维真实场景视频的建模、编码、绘制技术及相关的应用进行详细的分析和介绍。在本文的第二部分，根据应用场景的不同，首先对交互式三维视频进行分类，并介绍它们各自的特点；第三部分介绍交互式三维视频的表示技术，第四部分则对其编码方法进行了详细的介绍，最后给出交互式三维视频技术的一个典型应用 — 交互式全方位视频系统。