0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

输入事件和设备状态数据流介绍

OpenAtom OpenHarmony 来源:OpenAtom OpenHarmony 作者:OpenAtom OpenHarmony 2022-06-21 11:15 次阅读

一、 多模输入概述

多模输入服务旨在支撑开发者面向用户提供丰富多样的人机交互方式,在持续完善支持传统输入的基础上,多模输入还会发挥 OpenAtom OpenHarmony(以下简称“OpenHarmony”)的分布式优势,提升跨设备交互体验,面向新场景、新业务提供系统级支撑能力。 多模输入 Input 部件是 OpenHarmony 系统级输入事件管理框架;南向对接多种输入设备,汇聚多种输入事件(按键、触摸),通过归一/标准化处理后,分发给消费者(系统服务、应用)。 南向输入设备对接包括多种类型的输入设备,如:触屏、鼠标、键盘、触摸板、遥控器。

二、输入事件和设备状态数据流介绍

首先,我们看下多模输入体系架构下的关键数据流程,方便深入了解用户从发起一次交互请求,到系统、应用给予一次交互响应的全流程。

如下图所示,包括两类关键数据流:

●输入设备状态数据流:

输入设备状态数据描述输入设备的状态变化及其设备属性信息,包括:设备插入、移除状态、设备唯一标识、设备名称、设备支持的输入方式等。

输入设备状态数据,经过内核设备驱动上报给多模输入服务端的输入设备状态管理模块。在输入设备管理模块对全局输入设备状态进行管理和维护,同时设备状态会封装为可监听接口提供给上层业务模块用来监听系统输入外设的状态。 ●交互输入事件数据流: 交互输入事件数据用来描述键盘、鼠标、触摸屏输入事件;键盘事件包括:按键码、按键时间戳、按键所属设备等信息;鼠标事件包括:鼠标 X/Y 坐标、鼠标按钮(如:鼠标左|中|右)事件等;触摸事件包括:时间戳、触摸位置 X/Y 坐标等。 输入事件数据由设备驱动上报给输入事件接收模块完成输入事件从内核空间到用户空间的转发,然后再给输入事件预处理模块完成输入事件标准化处理(按键 KeyCode 映射标准化等),最后由输入事件分发模块以系统预设分发机制和原则完成事件的分发。 参考以下数据流图,我们可以很清晰地了解到在用户通过输入设备发起一次交互请求后,输入事件上报和分发全流程。

a2ad8d94-f09a-11ec-ba43-dac502259ad0.png

图1 输入事件和设备状态数据流图 注:数据流图箭头示意说明 输入事件分发模块对于事件预处理说明: 1)输入事件分发过程会优先经过输入事件拦截模块,当有拦截器注册时,输入事件会终止继续上报,相应的拦截器会拦截所有输入事件。该事件拦截特性当前主要支持无障碍模式。 2)当没有拦截器注册时,输入事件会上报给输入事件监听模块,系统级应用(如:系统设置、桌面)通过监听输入事件,支持系统级特性(如:状态栏隐藏/消失等)。 3)事件监听模块对事件的监听不会阻断事件继续上报;支持事件监听的同时,输入事件还会继续上报。 4)对于按键事件会上报给订阅按键分发模块处理,分发给对应的应用处理,事件分发流程结束; 5)其他触摸屏事件和鼠标事件不会经过订阅按键分发模块,会继续上报给应用窗口处理。

三、多模输入事件分发原则

1. 鼠标/触摸屏事件分发原则

鼠标/触摸屏坐标指向哪个目标,输入事件就分发给对应的目标。 鼠标/触摸屏事件分发特殊场景说明: 1)如没有鼠标上的按钮按下,当前鼠标指向哪个目标,鼠标输入事件就分发给坐标锁定的目标。 2)如果有鼠标上的按钮按下,以第一个按钮按下时刻鼠标坐标锁定的目标作为分发标的,直到所有的按钮都抬起。 3)触摸屏输入时,将第一个手指按下锁定的目标作为输入事件分发标的,直到所有的手指都抬起。

2. 按键事件分发原则

按键事件分发以当前用户可视界面中的焦点作为分发标的,当前界面焦点在哪个目标上,按键事件就分发给对应的标的。

四、OpenHarmony 3.1版本新增接口说明

为了更好的支持上层应用和系统服务实时检测和处理输入设备热插拔状态变更事件,在 OpenHarmony 3.1 版本新增开放了 JS API 接口,可支持通过 JS API 监听设备的热插拔事件。同时提供通过注册回调接口的方式获取热插拔输入设备唯一标识。输入设备热插拔监听接口与 inputDevice.getDevice 接口配合即可获取热插拔设备的详细信息,包括:输入设备名称、设备支持的输入类型(键盘|触摸屏|鼠标|游戏手柄)等。

1. 多模输入子系统新增接口说明

输入外设热插拔监听接口: function on(type: "change", listener: Callback): void; 输入外设取消监听接口: function off(type: “change”, listener?: CallbackDeviceListener): void;

2. 新增接口接口参数说明

【DeviceListener】

a2bdd974-f09a-11ec-ba43-dac502259ad0.png

【ChangeType】

a2d0cf66-f09a-11ec-ba43-dac502259ad0.png

3. 输入设备热插拔接口应用场景

软键盘自适应显示:在文本编辑场景下,输入法通过监听物理键盘输入设备的热插拔操作,可自适应决策软键盘是否显示。当有物理键盘设备时,软键盘无需显示,用户输入操作通过物理键盘完成输入。当无物理键盘时,输入法弹出软键盘,用户通过软键盘完成输入操作。

4. 输入设备热插拔接口使用范例

对于鼠标热插拔监听接口有了初步的认识后,让我们来详细了解下,在实际开发中如何使用输入设备热插拔接口: 1)首先导入模块 import inputDevice from '@ohos.multimodalInput.inputDevice'; 2)通过监听接口实现输入设备热插拔事件监听:

// 输入法在软键盘显示逻辑中通过订阅物理键盘的状态:插入/拔出// 根据isPhysicalkeyboardExist的值决定软键盘是否弹出...let isPhysicalkeyboardExist = false;inputDevice.on("change", (callback) => { console.log("type: " + callback.type + ", deviceId: " + callback.deviceId); inputDevice.getDevice(callback.deviceId, (ret) => { console.log("The keyboard type of the device is: " + ret); if (ret == keyboard.ALPHABETIC_KEYBOARD && callback.type == 'add') { // 热插拔设备为键盘 isPhysicalkeyboardExist = true; } else if (ret == keyboard.ALPHABETIC_KEYBOARD && callback.type == 'remove') { isPhysicalkeyboardExist = false; } });});...3)通过取消监听接口实现输入设备热插拔事件取消监听:
listener: function(data) { console.log("type: " + data.type + ", deviceId: " + data.deviceId);}// 单独取消listener的监听。inputDevice.off("change", this.listener);// 取消所有监听inputDevice.off("change");//取消监听后,软键盘默认都弹出

注:取消热插拔事件监听接口中,入参listener可选;当入参带listener代表取消特定监听回调。当入参不带listener,代表取消所有监听回调。

通过上述介绍,相信大家对 OpenHarmony 多模输入子系统的输入事件处理和分发机制有了一个全面的了解。同时我们也对 OpenHarmony 3.1 版本新增的输入设备热插拔监听接口做了详细的介绍,更多有关多模输入子系统为开发者提供的 API 接口欢迎访问 Gitee 详细了解:

https://gitee.com/openharmony/docs/blob/master/zh-cn/application-dev/reference/apis/js-apis-inputdevice.md

相信大家在后续开发中有了上面这些基础知识作为铺垫,在后续开发中便可以更加游刃有余,开发出交互体验更好的应用来。期待与广大开发者一起共同构建极致用户体验。最后,期待诸位携手一起共建,可在 OpenHarmony 社区(https://gitee.com/openharmony)一起交流探讨。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 多模
    +关注

    关注

    1

    文章

    28

    浏览量

    10850
  • OpenHarmony
    +关注

    关注

    25

    文章

    3717

    浏览量

    16288

原文标题:多模输入事件分发机制详解

文章出处:【微信号:gh_e4f28cfa3159,微信公众号:OpenAtom OpenHarmony】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    理解ECU数据流的分析方法

    随着汽车电子化程度的提高,ECU在车辆中扮演的角色越来越重要。它们不仅控制着发动机管理、变速箱、制动系统等关键功能,还涉及到车辆的舒适性和安全性。 ECU数据流分析的重要性 故障诊断 :通过
    的头像 发表于 11-05 11:07 409次阅读

    请问TLV320AIC3254EVM-K怎么读取音频数据流

    您好,我在学习TLV320AIC3254EVM-K开发板的过程中碰到一个这样的问题,TI提供的软件是否具备读取I2S的音频数据流的功能,或者是否有PC机软件可以读取音频数据流,或者其它方法?请高手帮忙解决,万分感谢!
    发表于 10-31 06:14

    统一日志数据流

    统一日志数据流图 日志系统数据流图 系统进行日志收集的过程可以分为三个环节: (1)日志收集和导入ElasticSearch (2)ElasticSearch进行索引等处理 (3)可视化操作,查询等
    的头像 发表于 08-21 15:00 305次阅读
    统一日志<b class='flag-5'>数据流</b>图

    使用CYUSB3014实现USB3VISION,不能成功发送DSI数据流是怎么回事?

    /USB3-Vision-DMA-on-Leader-packet-on-FX3...。目前使用eBUS Player这个软件能够成功识别到U3V设备,并且连接成功,但是启动发送数据流时,仅能够发送leader数据,不能够正常发
    发表于 07-05 07:58

    ESP32如何在不漏数据的情况下采集数据流

    esp32作为spi从机连接一款AD,该AD芯片上电后就会持续不断地向外发送数据,如果循环调用spi_slave_transmit(),那么两次调用之间就会漏掉一些数据。 请问从机有没有办法在不漏数据的情况下采集这个
    发表于 06-19 08:02

    PLC输入设备有哪些

    在工业自动化领域,PLC(可编程逻辑控制器)作为核心控制设备,其输入设备扮演着至关重要的角色。这些输入设备负责将外部信号转化为PLC可以识别
    的头像 发表于 06-15 11:25 1354次阅读

    电气设备状态分析

    电气设备作为现代工业和生活不可或缺的一部分,其运行状态对于整个系统的稳定性和安全性具有至关重要的作用。在电气设备的生命周期中,它会经历不同的状态,每个
    的头像 发表于 06-11 11:32 812次阅读

    电气设备有哪几种状态,其含义是什么?

    电气设备是现代工业和生活中不可或缺的重要组成部分,其状态直接影响着设备的性能、安全和使用寿命。了解电气设备的各种状态及其含义,对于
    的头像 发表于 06-06 09:48 2376次阅读

    让YUV2演示在FX3的内存上运行,启动数据流时却无法正常工作,应用程序会崩溃,为什么?

    效(我看到了我的 4 帧样本),但启动数据流时却无法正常工作,应用程序会崩溃。 在 linux 上运行时,v4L2 报告说它根本不起作用: VIDIOC_STREAMON returned -1
    发表于 05-28 08:18

    TSN时间敏感网络QoS数据流传输中干扰的三种模式#TSN #时间敏感网络

    数据流TSN
    北汇信息POLELINK
    发布于 :2024年04月24日 12:29:11

    stm32F429串口采用DMA方式发送,数据流使能失败的原因?

    DMA1 时钟稳定 DMA_DeInit(DMA2_Stream7);// 复位初始化DMA数据流 while (DMA_GetCmdStatus(DMA2_Stream7) != DISABLE
    发表于 04-17 07:05

    STM32F407USB HAL库的USB In时的数据流向是什么?

    最近在学习STM32 F407的USB功能。想要做一个USB声卡,可以播放,可以录音。 但是在Host录音的时候,F407不会发送数据到Host。 请问有大佬可以介绍一下F407 USB HAL库的USB In时的数据流向么?
    发表于 03-19 06:58

    宽电压输入降压型恒压恒DCDC FS2957数据手册

    电子发烧友网站提供《宽电压输入降压型恒压恒DCDC FS2957数据手册.pdf》资料免费下载
    发表于 03-18 14:28 1次下载

    fx3进行视频数据流的传输的时候,请问如何修改可以达到同步传输的要求?

    在fx3的固件中给出的slavefifo 是通过bulk传输的demo 我想进行视频数据流的传输的时候,请问如何修改可以达到同步传输的要求 我目前在固件里面只看到了bulk的方式,如果有同步传输的demo或者修改教程请不吝赐教 FX3中的ISO数据传输,这一部分
    发表于 02-28 07:50

    电气设备四种状态介绍

    电气设备的运行、热备用、冷备用和检修状态是描述电力系统中设备工作模式的术语。这些状态反映了设备在电力系统中的不同角色和功能,以及它们对系统可
    的头像 发表于 01-25 14:46 3611次阅读
    电气<b class='flag-5'>设备</b>四种<b class='flag-5'>状态</b><b class='flag-5'>介绍</b>