短视频搭配AR将为内容创作者激活更多新玩法

在备受关注的视频领域，百度增强现实技术部技术架构师马晓昕从技术层面全面解读了百度AR与百度智能云的强强联合为短视频创作者提供的云端赋能，为激活内容创造力带来了无限可能。

据第三方数据显示，2018年短视频行业月独立设备数已近7亿台，短视频日渐成为营销传播的通用手段和普通人记录分享的常规方式。可以说，短视频时代，每个人都能成为内容的生产者。

在短视频制作方面，百度智能云构建了从基础设施、平台工具到数据传输的一整套解决方案，全能力覆盖互动拍摄、智能编辑、转码上传流程，为UGC/PGC内容创作打造了利器。而百度AR与智能云平台的能力打通，在拍摄阶段引入丰富的AR特效能力，让创作者通过叠加人机交互玩法获得更大的想象空间；对平台开发者来说，DuMix AR 5.0提供的涵盖硬件层、结合层、能力层、技术平台、内容平台和业务场景的多层次开放架构，将有助于他们进行灵活扩展，大幅提高生产效率。

AR技术在短视频中有哪些应用场景？从最常见的美颜滤镜，到手势控雨、肢体游戏、环境风格变换等，百度增强现实技术部技术架构师马晓昕结合不同玩法实例解析了DuMix AR 5.0人脸肢体手势环境的一体化交互的技术解决方案。

通常在说到人脸特效能力时，大家往往关注的是能够精准定位150个2D关键点，涵盖78个骨骼的关键点，能输出3D的人脸姿态。其实在基础能力之上，对于嘴部和眼球这两个最“出戏”的部位，我们提供了更加精准的解析，以保障应用层可实现的玩法更多；另外，我们还对人脸平面进行了三角剖分，分成264个三角形；以及5210个三角形人脸立体剖分，基于这个面部网格可以制作各种2D/3D贴纸、变形或进行其他拓展。

我们也预设了32个人脸的表情基和15个表情语义，包含如微笑、大笑、睁眼、闭眼等一些常见的表情。通过内置的19套塑形参数、五种基础美妆、立体的3D的妆容等更加高阶的能力，可以满足开发者对于人脸特效玩法的各种需求，如美妆美体、微整形、多人实时换脸和个性化的美颜需求，并且在应对光照变化剧烈、大角度追踪、抖动遮挡这些复杂情境都表现出很强的稳定性和鲁棒性。

手势特效预设了8种手势语义，包含21个关键点，能够复原出3D的手掌姿态；肢体特效提供59个轮廓点/18个关节点两种输出方式，其中18个关节点识别速度，全机型测试最多不超过6.7毫秒；人像分割更是达到IOU 93.76%的高指标。

从人体跟踪到物理世界大场景跟踪，依靠低成本的地图采集和在线融合跟踪方案，百度AR推出了VPAS视觉定位与增强服务，用户在打开时省去了扫描平面这一步骤，体验路径更加顺畅。开发者可以在真实世界中构建更加宏大的虚拟场景，我们提供的实时渲染能力对于26万面大场景在普通手机上的渲染帧率也达到了30fps。

为了降低开发者的使用门槛，百度DuMix AR平台对一体化人机交互能力进行了封装，灵活的架构确保开发者可以自主高效地进行能力和玩法扩展。

此外，针对不同需求的短视频内容制作者，百度DuMix AR特效开放平台也提供了两套不同的工具：具备创意技术能力的平台开发者可以应用工具插件进行内容制作，也可以通过生态合作伙伴进行定制化生产；而个人开发者则可以使用平台开放编辑器DuMix AR Studio和移动端预览工具DuMix AR Cam进行开发和实时调试。

百度AR提供的创意生产工具结合百度智能云的基础架构服务，以及百度生态资源闭环，共同构建了从创意内容到AR互动体验的完整工具链，提升生产端到消费端的整体效率，有效降低生产成本，让AI/AR赋能产业、改变生活！