人机界面交互方式有哪些

　　人机界面交互方式有哪些

　　去年主要写了多设备交互的一些想法，借2022 CCF HHME 主论坛的特邀报告，总结下对多模态交互的一些理解。因为GUI+触控还是当前手机应用生态最主要的交互方式，本文主要介绍，将GUI+触控为主的交互形态向多模交互演进，有哪些思路和机会。

　　本文主要使用类比、归纳、演绎的逻辑：类比交互系统和通信系统，归纳交互系统的信息架构，并对该信息架构进行演绎，分析将GUI触控延展为多模交互可以采用的技术。

　　在普适计算的愿景之一，希望用户可按需以任意方式获取信息。信息的传递路径包括人到机的信息输入，和机到人的信息输出。要实现自然交互的目标，即需要以类人人交互的方式，低成本，高效可靠的在人机间完成信息的传递。

　　交互系统的目标是完成信息的传递，通信系统的目标也是信息的传输。借鉴已比较成熟的通信系统基础架构，从有效性和可靠性两个技术领域，类比交互系统和通信系统的异同，提出交互系统的信息架构。

　　提升信息传输的有效性，可以有传输高熵信息，和多通道信息并发两种方式。

　　提升信息传输的可靠性，主要是解决传输通道的噪声问题，也有若干方式：

　　前面介绍了交互系统和通信系统的相同点，这两个系统也有很大的不同。主要的差异点在于，人机交互系统中，人机不对偶，我们可以对计算机系统进行设计和改变，但为达到自然交互的目标，我们不应改变人的交互习惯。

　　这种不对偶，导致通信系统中一系列需要收发端配合处理的技术，在人机交互系统中不适用。比如，根据接收端的计算，将信道质量向发送端进行闭环反馈的闭环信道评估技术；再如，通信系统中广泛利用的信号调制解调技术，在人机交互系统中基本很难利用。

　　根据以上分析，交互系统和通信系统即有相似性，也有不同。借鉴通信系统的信息架构，人机交互系统的信息架构，至少可以从提升交互效率的信源技术族和提升交互质量的信道技术族两个大方向进行设计：信源技术方向，主要对信息进行解构、重组和恢复；信道技术方向，主要对交互通道进行评估、选择和组合。

　　基于人机交互系统的信息架构，在分析多模交互之前，我们先对GUI+触控这一传统交互方式进行分析。GUI+触控的经典交互方式，GUI主要完成信息的输出（呈现），其信源是在二维平面上组织的图文，信道是视觉通道；触控主要完成信息的输入（控制），信源是在GUI提供的任务共识下的操作对象（e.g. UI按钮）和操作类型（e.g. 点击，长按等），信道是平面的触控。

　　先看信息输出方面，以咖啡预定的卡片（GUI）为例，在信源技术族方面，信息本身为卡片呈现的图文。参考交互系统的信源技术逻辑，

　　2. 异构信息并发

　　在信道技术族方面，主要对各交互通道进行能力评估。如前所述，某交互通道代表了某设备某模态的组合，比如，手机语音和车机语音代表了两个不同的交互通道。 评估主要从通道的信息承载能力，信息传输质量，隐私性三个大维度进行：

　　通过信源的处理和信道的评估，仅在手机GUI上呈现的信息，可以自然延展到多通道的呈现。比如，在手机、车机、手表互联的情况下，在驾驶时，选择符合隐私要求的高传输质量的交互通道，将信源的信息进行分级处理并转换，即可将手机GUI的信息进行多模呈现：车机GUI呈现卡片，在驾驶状态仅呈现高信息量信息并大字体显示，在非驾驶状态呈现全部信息；同时，车机语音播报高信息量信息，并对话引导通过语音完成操作。

　　在信息输入方面，也是用类似的逻辑展开分析。触控的信源信息比较简单，既在GUI呈现形成的任务共识下，操作的对象和类型，比如，对某按钮的点击操作。

　　触控输入的信道评估，也有信息承载能力，信息传输能力，隐私性三个方面。这些特征的描述和对输出信道的评估类似。比如，对比触控，语音的信道容量更高，语音的可用性和抗干扰能力和情景任务相关，语音的隐私性不好，可能会被不希望的设备或人接收。

　　和多模呈现类似，通过信息的处理和信道的评估，我们可以对触控进行多模的延展。

　　将对GUI的触控输入通道，拓展到其他交互通道也有一系列的问题：

　　多模输入和多模输出进一步组合，可形成全新的智能交互体验。如下图的示例，以GUI触控为基础，基于情景灵活拓展和组合，提供即非GUI也非触控的最佳交互体验。