峰会回顾第30期 | 面向互联和智能的交互技术变迁

演讲嘉宾 | 郑森文

回顾整理 | 廖 涛

排版校对 | 李萍萍

嘉宾简介

郑森文，中国科学院软件研究所高级工程师，智能软件研究中心开源基础设施组负责人；OpenHarmony项目群工作委员会委员；华为HDE（HUAWEI Developer Experts）；开放原子教育认证讲师；编著有书籍《鸿蒙操作系统应用开发实践》以及《鸿蒙第三方组件库应用开发实战》。主要研究方向为人工智能和操作系统，发表二十余项相关领域论文、软著、专利，并参与了多项国家课题项目，当前主要专注于开源软件基础设施和开源软件供应链的相关研究和实践。

内容来源

第一届开放原子开源基金会OpenHarmony技术峰会——生态与互联分论坛

视频回顾

打开 哔哩哔哩APP 搜索 OpenHarmony-TSC 视频更清晰

正 文 内 容

Apple Vision Pro在苹果WWDC2023开发者大会上正式发布，再次引起了虚拟现实与人机交互技术相关的热烈讨论。互联是OpenHarmony重要特性之一， 在人工智能飞速发展的同时，OpenHarmony的交互技术有哪些发展方向和目标呢？中国科学院软件研究所开源基础设施组负责人、高级工程师郑森文在第一届OpenHarmony技术峰会上进行了精彩分享。

01►

交互方式演进

1828年，来自美国密歇根州的威廉·伯特制造了一部名为“排字机”的机器，并在不久之后就取得美国专利，第一台打字机问世；1846年，最早的电脑输入设备-穿孔纸带（指令带）正式出现，将程序和数据转换二进制数码：带孔为1，无孔为0，经过光电扫描输入电脑；1915年，电传打字机问世，实现了键盘直接输出电信号，进而控制计算机相关操作；1964年，第一台鼠标问世，图形化界面的主要交互设备就以此诞生；触摸屏以及语音识别系统等也相继于1971年和1987年诞生，为人与计算机交互的发展奠定了重要基础。

随着计算机技术的发展，人与计算机交互的图形界面也在同步演进，经历了穿孔纸带批处理交互（也称无交互）、CLI（Command Line Interface）交互、GUI（Graphical User Interface）交互以及NUI（Natural User Interface）交互等阶段。其中，最初的穿孔纸带批处理交互方式容易出现问题，有较大的错误成本，且效率低下；CLI交互，用户在计算机上以文本形式输入命令，但要求交互的使用者具有一定的专业能力，有一定的使用门槛；GUI交互，用户通过指示系统（例如鼠标）操纵界面，但随着时代的发展和人们对交互方式的新需求不断增多，GUI交互已经略显疲态；NUI交互，用户重用现有自然交互技能直接与内容进行交互，例如智能手机、触屏、触摸、拖拽或者手势等等，其交互方式是人本身就具备的技能，让机器或者让产品能够去理解人已经具备的技能，从而以人为中心来进行交互。

未来整个交互又有没有可能产生一些新的变化以及出现一些新的交互模式呢？答案是肯定的。

计算机和交互方式的发展历史从“以机器为中心”到“以人为中心”。以机器为中心即人与机器产生的所有的交互行为均通过指令下达的方式，机器依据指令理解人的意图；以人为中心即机器需要主动的去感知和理解人到底想要去做什么样的交互，并主动发生交互行为。因此，人是产品概念设计的核心和关键，实现产品设计交互最重要的是对用户设计行为、意图和认知习惯的提取和分析。

02►

从交互到互联和智能

2.1►►

新交互方式

跨设备分布式交互

在常见的交互方式中，每个设备都成为一座孤岛，相互独立运作。通过跨设备的分布式交互可以构建起不同设备的沟通协作，避免不同的设备重复干同样的事情。在跨设备交互时，设备间状态与数据的连续性和一致性至关重要。跨设备分布式交互，通常通过高效协同的异构组网与分布式架构设计，提供高效融合的通信链路与数据处理，实现跨设备软硬件资源共享与分布式交互，以支持分布式多端协同与跨端迁移等交互模式，从而实现多智能终端相互融合协同，打造体系性的智能人机协同系统。其中多端协同以分布式数据链路与管理服务为支撑，建立跨设备的连接通路，在连接通道上传递状态和数据，以进行业务协同并实时感知连接状态变化。

跨端迁移基于分布式任务管理将数据传递到目标端，拆包数据并恢复系统状态，从而实现数据与业务流转。同时系统会通过分布式窗口管理能力保证体验的一致性，实现跨端无缝显示效果，并通过硬件资源池化与自动跟随方式，实现硬件平台的分布式状态同步。系统通过将超级终端上所有设备硬件进行虚拟化，以使得任何一个设备都能够使用所有超级终端设备内的硬件，并非与某个特性硬件相绑定的虚拟句柄，由系统中的迁移决策模块实现硬件资源的分布式共享与迁移，从而保障了分布式人机协同体验的流畅性与一致性。

沉浸式无感交互

从人机的进化角度来看，未来的体验将会是“没有交互”或者是“无感体验”，交互设计也不断进化到新的应用领域，未来无感交互体验将会给交互设计带来新契机，实现交互体验的无感化升级。

无感交互强调交互过程以人为中心并立足于用户自身的视野与体验，建立产品设计情境模型，捕捉用户设计过程中的环境信息，实时更新自动切换，最大程度提升系统对设计意图的主动感知能力，弱化用户对系统的感知需求，实现一种智能无感交互过程。未来的人机交互将趋同于 “感知”, 计算机的主要交互行为将变成感知行为、感知自然现象、感知人的现象、感知人类行为，从而实现为人类服务。

多模态情境感知交互

随着计算机信息技术的不断发展，双向交互方式从早期的鼠标、键盘等单模态信息输入，逐步向语音、图像、行为等多模态智能交互方式发展。情境感知交互是利用设备各种传感器来识别和推测用户意图，从而做出最合理的交互决策和推荐。多模态交互结合单一模态的优点,充分发挥了人们对各个感知通道传达信息的高度接收与处理能力,增强用户对交互行为的理解,提高对大数据可视化的探索与分析效率。当前这种多模态交互中，主要包含很多基于AI的智能交互方式。

2.2►►

智能交互产业进展

智能座舱

智能座舱是一个交互非常有趣的环境。1910年，汽车座舱里的交互方式以按钮-触觉的形式，通过全按钮的方式进行汽车操控；1963年，座舱里出现了屏幕显示，人能够通过屏幕-视觉的形式进行汽车操控；2002年，语言命令的引入使人能够通过语言-听觉的形式进行汽车操控；至今，以综合感知、场景智能为主的智能座舱正在逐步改变人们操控汽车的交互形式。智能座舱的出现，不单单提高了人们操控汽车的体验和效率，也能够在一定程度上提升驾驶安全。

下一代的智能座舱，将继续往个性化、高情商的主动交互设备发展，提供更简单、更便携、更多模态感知、决策更主动、交互更人性化的汽车操控体验。

智能手机

与汽车座舱的人机交互发展趋势类似，手机经历了自1973年起的全按键交互类型，到触屏、手势、语言命令和综合感知的智能化交互。在智能手机不断满足人们交互需求的同时，科技的发展也影响人类本身的生活、交付等习惯。

03►

智能交互下的技术核心

AI——智能化体验的关键技术支持

AI（人工智能技术）包括机器学习、深度学习、自然语言处理、计算机视觉等多种技术，通过AI可以让计算机像人一样进行思考、学习、推理和决策。目前，AI已经广泛应用于各个领域，如智能家居、智能医疗、智能交通、智能制造等，为人们的生活和工作带来了很多便利和效率提升。

同时，AI也是智能化体验的关键技术支持。例如，如何分析获取到的感知数据或由其加工获得的更高层次的信息，对于完成预定的行为或动作有直接的、重要的意义，这就需要通过AI对这些数据和信息进行决策处理，以对感兴趣的实体环境有一个中肯的了解或理解，并对感兴趣的实体或事件最终做出“是什么”的结论。

分布式——操作系统的基础核心能力底座

分布式是指将一个系统或应用程序分散到多个计算机或服务器上，使得每个计算机或服务器都可以独立地运行一部分系统或应用程序，并且这些计算机或服务器之间可以相互通信和协作，共同完成整个系统或应用程序的功能。分布式系统可以提高系统的可靠性、可扩展性和性能，并且可以更好地应对大规模数据处理和高并发访问的需求。

基于多模态感知的智能交互场景需要从多种传感器及时获取信息进行处理，这些传感器分布于不同的物理空间且没有线缆连接。基于多模态感知的智能交互场景需要实现复杂的模糊计算甚至大量AI的参与，因此会带来庞大的计算量。而终端设备和物联网设备的计算能力显著不足。如何通过分布式技术在设备上实现高性能任务处理是实现智能交互能力的重要问题。

04►

OpenHarmony与交互的未来

基于OpenHarmony的system-subsystem-part-module体系结构：分布式软总线是OpenHarmony的一个部件（part），属于OpenHarmony分布式子系统（subsystem）。分布式软总线是OpenHarmony多种分布式场景实现的底层基础。通过分布式软总线，OpenHarmony能够实现分布式的设备管理、分布式数据管理、分布式任务调度等能力，通过不同的组合搭配，能够向上层提供特定的能力支持，使开发者不需要考虑多个设备之间如何互联，就可以在单个设备的开发模式下开发分布式场景下的复杂交互应用。

未来人机交互界面的发展，应该是基于现实的交互 (reality-based interaction，RBI)。RBI是对未来人机交互方式的概括, 如自然用户界面、虚拟现实技术、增强现实技术、上下文感知计算、手持或移动交互、感知和情感计算、语音交互及多模态界面。RBI强调利用用户的已有知识和技能, 不需要额外学习太多新的知识，从不同层面来对新的交互模式进行描述, 包括人们对基本常识的理解、对自身肢体动作的理解、对环境的理解, 以及对其他人的理解，并基于这4个层面建立了基于现实的感知框架。

05►

总结

未来，郑森文研究员所在团队将继续在一站式可定制智能交互支撑框架，快速通信建立，无感式主动服务，基于语音、图像、行为等AI多模态人机交互模式等方向探索OpenHarmony互联与交互相关技术，也欢迎感兴趣的开发者参与进来，共同为OpenHarmony技术生态贡献智慧。

E N D

点击下方阅读原文获取演讲PPT。

关注我们，获取更多精彩。

---

审核编辑 黄宇