揭秘Magic Leap核心技术

　　2月2日，MagicLeap官方表示获得由阿里巴巴集团领投的约7.94亿美元融资。加上上轮由谷歌领投的5.42亿美元，至2014年年底以来，该公司总计已完成13.4亿美元投资，总估值约45亿美元。

　　这家位于佛罗里达的创业公司已经创业数十年，阵容豪华，规模庞大，但却对其核心技术讳莫如深，异常神秘。间或泄露几条演示视频，举世惊艳，旋即哗然。那么，MagicLeap究竟有何惊世骇俗的技术秘密？在此大胆推测，力图在其扑朔迷离的表象下，探究技术的实质。

一条巨大的鲸鱼从篮球场的地面中央飞跃而出

把办公室变成游戏战场

　　在计算机图形学领域，三维场景渲染演示技术的演化进程可以大致划分成如下的历史阶段：针孔相机、双目立体视觉、光场、数字全息。简而言之，针孔相机演示技术的代表作是早期的动画电影《最终幻想》，双目立体视觉的代表作是3D版的《阿凡达》，光场的代表作就是MagicLeap，数字全息技术的代表作是《星球大战》中的场景。

最终幻想：光线跟踪法渲染，针孔相机显示技术

3D版的《阿凡达》，双目立体视觉

MagicLeap，增强现实，光场技术

星球大战，数字全息技术

　　MagicLeap实现并普及了光场显示技术，这是三维场景显示技术的一场实实在在的革命，获得空前的投资自然是名至实归。那么，什么是光场？这一技术是完全崭新的吗？这一技术发展的历史脉络如何？存在其他以光场技术起家的公司吗？我们在下面的讨论中，逐一解释。

　　针孔相机

　　传统的光学相机，其理想模型就是针孔相机。在计算机图形学中，传统的渲染方法都是基于这种相机模型。如图7所示，从相机的光心出发，经过成像屏幕的每一个像素，发出一条射线。光学跟踪法用几何光学的物理法则计算这条射线的颜色，即为相应像素的颜色。图8展示了一个用光学跟踪法算出的渲染图像。在这里，我们需要一个概念上的转换，每个像素不是一个点，而是一条射线，这是理解光场的关键！换言之，一张相片就是通过光心的一簇射线。《最终幻想》就是用光学跟踪法来渲染制作的。

光线跟踪法中的针孔相机模型

用光线跟踪法渲染的一幅场景

　　传统的显示方法，例如屏幕、LCD/LED，是基于传统观念的，即把每个像素作为一个点，从不同的角度看过去，同一个像素的颜色不变。换言之，这种显示方式失去了射线方向的信息。

　　双目立体视觉

　　人类具有两只眼睛，观看物体时两眼各自成像，大脑根据两眼成像的细微差别计算每一点的深度信息，从而得到立体感觉。模仿人眼，我们可以用双镜头相机得到双目立体相片。

双目立体相机

阿波罗登月计划中拍摄的双目立体相片

　　本质上而言，双目立体视觉相片就是从两个光心出发的两簇射线。3D版《阿凡达》就是以此原理制作的。相对于单目相机，双目立体视觉时间复杂度和空间复杂度加倍。

　　光场（Light Field）- 魔盒解释

光场（Light Field）的魔盒解释

　　我们假设用一个玻璃盒子罩住一只兔子，然后透过玻璃盒子来观察这只兔子。从盒子表面的任意一点，向三维空间的任意一个方向发出一条射线，这条射线的颜色由兔子和光照条件所决定。我们用来表示玻璃盒子，表示单位向量，一条射线表示为,所有射线的集合记为。每条射线对应着一个颜色，我们用三维空间中的一个点来表示。因此，光场就是从射线空间到颜色空间的映射。换言之，光场是定义在射线空间上的矢量值函数。

　　假设我们去掉了玻璃盒子中的兔子，但是这个玻璃盒子是一个魔盒，光场信息被完美保留。当我们观察这一魔盒的时候，所有经过一只眼睛的射线合成了视网膜上的一幅图像。我们可以自由地改变距离和视角，兔子在视网膜上的图像相应地自然变化，根本觉察不到兔子的消失。因此，有了魔盒，我们不再需要真正的兔子。这个魔盒就是兔子的光场。

　　在光学领域中，光场是一个古老的概念。在1996年被微软和斯坦福学者引进到计算机图形学领域，发展到2016年的今天，已经整整二十个年头了。虽然在学术界，人们不懈地研究深化，真正在工业界产生影响，还是近几年的事情。MagicLeap应该算是LightField理论在现实应用中的一个巅峰。

　　光场渲染我们可以用兔子的光场来取代兔子，渲染生成各种角度的照片，这样我们无需为建立兔子的几何模型，纹理模型和光照模型。对于大场景，复杂光照条件，或者复杂几何模型（如长绒玩具）等等，光场比实物的数字模型更为简单，或者光场比光线跟踪得到的渲染结果更加逼真，或者更加高效，我们用光场来渲染。这是所谓的基于图像的渲染方法。历史上，微软曾经出过一版基于光场的游戏，类似孤岛寻宝，所有场景都是从真实自然中采集，非常逼真，但是最后没有引起任何反响，无疾而终。