网易布局AR应用的技术挑战和方案

你怎么看网易？快公司？慢公司？或者总能令人耳目一新的神奇公司。

1997年创立，至今已有21年，是中国最早的科技互联网代表。靠邮箱起步，其后又在门户厮杀中争得一方格局，再以游戏安身立命，近些年还能在教育、音乐和垂直电商中竖起鲜明大旗。

而且颇为神奇的是，在唯快不破的中国互联网竞争里，网易近几年的新业务往往不是最快的那一个，但却总能是以慢打快的那一个。

结果也有目共睹：业务版图从邮箱、游戏、新闻扩展至电商、娱乐等领域，在每个领域都做得风生水起。

网易AI路线

那AI呢？依然延续这个路数吗？

在BAT和各大公司纷纷把AI喊得响亮的当前，网易公司层面的AI声量显得克制。

不过，这种克制也将成为过去时。

没错，网易即将在AI方面搞出更大动作——依然会延续以慢打快的网易传统。

网易AI其实布局不算晚。

2011年，网易就在内部储备相关技术和团队，由浙江大学计算机博士李晓燕牵头。不过当时深度学习方兴未艾，AI也还没狂飙突进。所以网易AI更多扮演赋能网易内部各业务的角色，为游戏、邮箱、音乐、云服务和电商等业务持续提供AI技术加持，通过新交互形式的赋能，提升网易集团全线业务的产品竞争力和用户体验。

具体到技术方向层面，也先从更接近内部业务的CV开始，逐步切入语音语言、模式识别、人机交互、数据智能等领域并且在打造一个深度学习+机器学习平台。

于是2017年，风向标事件发生：网易的AI团队升级为人工智能事业部，并成为网易一级事业部，李晓燕出任总经理。可见网易在人工智能上的决心。

成立事业部后，网易AI继续内外并举。打法上同样点线面齐备，希望探索出更多落地场景。

在业务思路上，在3条战线上分别展开，分别是：基于视觉的网易AR、语音识别和NLP方向上的语音交互业务，以及AI平台。

其中，网易AR的商业化落地是网易AI的核心战略之一。

△网易洞见是网易AR基于移动端的AR平台

AI加持下的AR

为什么是AR？

有网易基因的原因，靠游戏安身立命，3D视觉原本就是网易一直以来的技术储备。

而且在AR游戏方面也已经真刀真枪上阵，推出了《悠梦》、《破晓唤龙者》2款游戏，甚至在Google AR开发者介绍案例中，网易的AR游戏也被拿来举例。

网易AR负责人赵辰认为，AR不仅是AI视觉技术的重要应用形式，也是打通虚拟世界和现实世界的重要手段，如果从信息承载和人机交互层面来看，意义更加不言而喻。

借助计算机视觉技术和可视化技术，可以实现在物理世界叠加虚拟信息，并将虚拟信息准确“ 放置” 在物理世界中。

如此一来，AR将改变人们获取信息、理解信息、应用信息的方式，是万物互联时代的信息入口，是人机交互的重要形态，也在承担网易AI探索“下一代终端用户交互形态”的使命。

技术挑战和方案

技术方面也长期为此准备。

网易AR算法负责人丛林介绍，网易洞见AR平台核心覆盖3个部分：一是AR内容浏览器，以客户端为载体；二是互联网应用引擎，为互联网应用提供AR平台能力；最后是游戏引擎，表现为AR Game Plugin。

其中互联网应用引擎，已具体涵盖了AR底层的定位、AR云端的服务，甚至多人联机、基于图片的跟踪识别、3D内容渲染等。特别在渲染部分，网易的SDK可以实现复杂精细的3D内容，比如用粒子特效来呈现风、水、火的效果。这些都得保证其互联网应用合作方的“终端用户”拥有“友好用户体验”，与网易产品的思路保持一致。

谈到网易洞见AR平台的优势，网易AR对三个方面引以为豪：

一是算法能力，结合计算机视觉、深度学习、人机交互和计算机图形学技术，实现系统级的算法优化，提供AR应用所需的基本场景内容理解能力，将虚拟物体精准注册于现实场景，并实现3D内容的精准展示：

丛林以光照恢复算法为例，具体做了解释。依托于深度学习和计算机视觉算法技术，光照恢复算法对当前环境的环境贴图、主光源方向、环境光亮度以及色温等参数进行恢复及预测。

具体而言，即：通过场景图像输入，利用深度神经网络预测出环境光的参数（SH系数）和周围的环境贴图，其中SH提供光照；环境贴图作为反射贴图可以让光滑物体映射的纹理更准确。由于学习得到的反射贴图准确性有限，所以把相机拍到的图像已知信息通过相机参数映射到环境贴图中，替换部分学到的环境贴图；预测的主光源方向可以为虚拟物体增加效果逼真的高光和阴影。此外，通过图像和相机信息实时计算环境光亮度、色温等参数，用来调整虚拟物体表面亮度和颜色，使得物体和环境更好地融为一体，使得渲染的结果更贴近真实。

二是内容生态支持，与国际级内容产业链进行深度合作，并与网易游戏生态进行整合，打造顶级、优质的AR内容生态。具体，如支持图片、文字、声音、视频、3D模型等AR内容展示的实时渲染，满足多元AR设计需求。

最后是系统性打磨，用户体验至上。以稳定低耗AR算法为例，支持基于图片的稳定识别与跟踪，支持无需标记物的实时场景跟踪和定位模式，可以多场景体验AR特效，在用户自然交互的同时实现大量主流机型稳定的AR体验。

此外，这套AR引擎的载体，还被不断普及化，覆盖各种硬件性能的终端，真正实现AR内容在终端用户的普及，并让用户真正体验到优质AR内容的乐趣。

赵辰介绍道，一个AR开发大爆发的时代已至前夜，开发底层引擎已ready，设备传感能力也已ready，只缺更多开发者和产业链合作方加入其中，掀起更大浪潮。

实际上，网易自身还在去年开启了牛刀小试，较具代表性的有2个。

一个是网易洞见、网易云音乐，与农夫山泉共同打造了一次AR营销。去年8月，网易云音乐&农夫山泉的4亿瓶“乐瓶”上，印上了精选乐评，手机一扫，AR实时呈现每一瓶矿泉水自带的音乐和故事，玩法之文艺及新颖，引发病毒式传播讨论。

另一个则是电影《异形》的营销，将电影IP变身蠢萌形象，让用户观影之外还能与继续在现实中与外星怪物互动。

不过，虽然初步试水的效果都不错，但赵辰也透露，“所见即所得”的AR红利还未被更多人看到，客户市场教育还需要进一步铺开。

接下来，网易方面希望在相关目标行业加快AR赋能节奏，并以四个行业为例解释了AR如何“赋能”场景。

广告营销行业，使得“万物皆媒介”，一切都可以成为体验式营销的入口；

游戏行业，增强了游戏的临场感，也为游戏玩法提供了丰富的想象空间；

新零售行业，提高运营的用户参与度，助力消费者决策；

生产培训行业，更好的学习体验，在真实世界中理解复杂信息。

这也是大洋流中的历史性要求：靠Demo、纯讲技术应用的时代已经过去——看货——是对于AI落地和商业化的核心诉求，而网易的初步答卷上，要率先以AR展开作答。

这几年来，网易教育做得有声有色，网易云音乐口碑日盛，网易考拉和严选也在电商领域打出组合拳，核心套路全一样：产品、产品，还是产品。

那么AI呢？AI加持下的AR呢？网易又会交出什么样的产品？