增强现实技术的发展及应用

人工智能论坛如今浩如烟海，有硬货、有干货的讲座却百里挑一。由中国科学院大学主办，中国科学院大学学生会承办，读芯术作为指定合作自媒体的“AI未来说·青年学术论坛”第三期“计算机视觉”专场已于2019年3月24日下午在中科院举行。百度李颖超老师为大家带来报告《百度增强现实技术及应用》。

李颖超，百度增强现实技术部高级经、DuMixAR平台负责人。2009年获北京理工大学博士学位，多年从事增强现实、计算机视觉领域的研发工作。组织团队所研发的DumixAR平台致力于面向业界提供领先的AR技术和解决方案，持续推动AR技术和产品化进展，推动AR技术在行业广泛落地应用。

报告内容：介绍百度在增强现实方向的技术进展，包括三维感知跟踪、人机交互、内容生产等，同时介绍增强现实技术的技术开放情况和落地应用。

百度增强现实技术及应用

李博士带来了题为《百度增强现实技术及应⽤》的分享。

李博士主要介绍了支撑增强现实（AR）技术的核心CV（ComputerVision，计算机视觉）能力，展示了百度DuMix AR平台构建及AR技术在各领域的应用落地，这为开发者和用户带来了更多的价值。

由“基础层”、“感知层”、“认知层”和“平台应用层”四层架构组成的百度大脑中，AR/VR与图像、视频能力组合成为感知层中的视觉部分；从细分技术方向上看，包含了图像、视频、重要垂类（人脸识别、OCR）、边缘计算以及AR五大特色技术能力。

从 PC 时代使用键盘鼠标交互，到移动时代通过指尖交互，再到智能化时代可以通过各种传感器交互，在交互手段不断升级的趋势下，AR通过将现实世界、虚拟信息和人连接起来为人们提供了崭新的智能化交互方式。现场，李博士展示了百度DuMixAR平台在场景探索上几个非常有意思的实例，让同学们对AR技术在消费层面的应用有了更直观的理解。

典型的AR技术工作原理是将Camera、GPS、IMU等传感器采集的真实世界数据，通过感知系统处理获得关于世界的结构、语义等信息，与后端虚拟信息实时融合，经由显示系统和人机交互能力为用户带来虚实结合的沉浸体验。

AR 系统的构建包含了感知跟踪、虚实融合、人机互动和内容生产这四部分关键能力，其中感知跟踪与CV技术结合最为密切。在识别典型物体进行感知跟踪场景下，系统设计核心在于能够支持多模态数据的灵活性和实时性。为此，百度设计了统一的注册系统和数据中心，通过实时构建局部地图有效提升稳定性；对于3D 物体，基于轮廓特征识别和纹理特征识别两套方案有效兼容更多应用场景。在空间感知定位方面，在即时定位与建图（SLAM）的技术框架下，VO方案仅基于视觉信息，可以兼容更多中低端机型，融合IMU的VIO方案则为用户带来更好的AR体验。此外，李博士还介绍了在人机互动、内容生产和虚实融合方向的关键技术、重大挑战与流行趋势。

百度DuMix AR平台不仅将这些底层技术打包全面开放，为开发者提供了满足不同需求的SDK集成方案；还创建了友好的内容开放平台，帮助没有开发能力的设计师搭建AR内容和场景。李博士认为，随着未来硬件和网络的升级，以及算法和数据的积累，真正成熟的AR 应用会很快到来。