红外多点触摸式交互技术原理介绍

Xperia Touch

SONY家的这东西仍是个基于安卓系统的投影仪，但它的界面是能触控的，这点你懂么？就是说，你不但能看见它投影的东西，还能跟投影画面触控交互。

Xperia Touch 的外观与传统投影仪有很大不同。采用类似机箱的造型。体积并不是很大，跟一本牛津词典的厚度差不多，机身重2.1磅，随身携带起来很方便。

它不仅带有100流明超短焦投影系统，还搭载了 Android 操作系统。

Xperia Touch的投影距离超短，在15英寸、也就是38厘米的距离内，就能投出一个100英寸的画面。

最牛逼的是，它可以将你身边任何平面的投影都变为触控屏幕！！！

它内部的Android智能设备，配置的是骁龙650芯片。另外还有立体声扬声器和电池内置，适合随身携带。

由于处理器的强大，再加上超强的感应探头，在平面上触控就跟抹了油一样灵敏！

互动PK的小游戏也都操纵自如。。。

兴起时，你甚至可以在地板上尽情涂鸦，把投影当成涂鸦区

做饭时，你可以直接把投影当成食谱区

Xperia Touch 内置立体声扬声器，感觉来了，就弹首钢琴曲，把投影当成琴键区，还可以来打碟哦~

此外，它还能像智能音箱一样语音控制各种家居！

还能用社交软件视频聊天，预留视频提醒～

带Android系统，能投影，这些都不稀奇，但能在投影上触控就真的是有点意思的了，那么这是什么技术原理呢？

原来，Xperia Touch 使用了基于红外触控技术的的传感器，和索尼的 SXRD 投影屏幕技术，通过传感器和 60fp 相机能够检测用户的手势和点击。

红外多点触摸式交互技术

红外多点触摸的定位技术, 识别并描述了双手触摸式交互动作, 并建立了双手触摸式交互模型, 这种交互技术比传统的鼠标操作更加自然直观, 大大提高了人机交互的效率。

红外光感应触摸定位

这里的多点定位使用左右两套红外光传感器 (如图1(a) 所示) , 同时完成红外光线的发射和接收。光传感器集成了红外光发射器和接收器, 它采用红外发光二极管作为光源, 电荷耦合器件CCD 作为光探测器件. 回归反射带是分布于显示设备边缘的一排特殊光反射材料, 用于将红外光线按原方向反射。

触摸探测过程中, 红外发光二极管发射的红外光线入射到回归反射面后沿原路径返回, 红外接收传感器CCD 接收返回的红外光线形成光带图像. 图 1 (a) 所示的是左传感器的发光二极管发射的红外光线经回归反射后由 CCD 光接收器接收的整个过程. 当手指、 笔或其它指点触摸物体进入红外光场时会产生遮挡效应, 这些遮挡导致部分光线不能正常反射, 从而在CCD 的接收光带上出现了手指阴影和形状。

由于回归反射带自身及外界红外干扰的影响, 红外 CCD照相机上获得的图像并不是单一的光带图像, 而是具有很多红外干扰背景的复杂图像. 采用以下步骤对光带进行定位和提取：

(1) 边缘检测：通过提取光带区域的边缘特征, 确定光带的边缘。

(2) 光带区域探测：依次对图像进行水平扫描和垂直扫描, 用矩形框确定探测到的每一部分光带的区域。

(3) 区域合并和过滤：区域探测获得的光带的区域如果相互邻接则进行合并, 对不符合光带特征规律的探测区域, 将对其进行过滤。

根据相邻两次CCD 探测的结果可以判断出触摸的状态,确定触摸点是进入点、 退出点、 还是连续触摸点。 

对每个触摸点的识别定位算法，如图 1 (b) 所示，在光遮挡过程完成后, 红外接收传感器获取手指的遮挡信息, 再利用三角定位算法对遮挡点进行定位, 从而确定触摸的位置。根据图1 (b) 上的参数可以将触摸点的位置计算公式定义为：

双手交互动作识别体系

在光感应多点定位的基础上, 通过对触摸点位置的变化、数量的增减、 触摸点轨迹的分析可以对双手的触摸动作进行识别。双手动作的实施是一个具有时间跨度的过程行为, 因此要求对双手的操作过程实时分析和处理, 并及时通知上层以便应用系统实时响应。双手交互识别体系通过基于过程分析的方法完成以下的功能：

(1) 双手运动检测

(2) 双手触摸形状验证

(3) 触摸轨迹识别

(4) 多动作模式分类

基于多点定位识别的实时硬件检测, 双手交互识别通用程序对双手的运动特征进行探测, 判断双手在屏幕的触摸形状, 进而估计双手的姿态. 在运动过程中不断记录双手的运动轨迹, 经过运动模型处理识别各种双手动作. 双手交互识别体系的构成如下图所示。

应用双手触摸交互, 用户可以摆脱传统交互方法的束缚,使用自然直观的方式与信息空间进行无障碍的交流, 从而可以将更多的精力投入到任务的分析和问题的解决当中。用户的双手动作符合自然的操作习惯, 易于在用户的心理模型和交互动作间建立一致的映射, 在交互过程中体现了以用户为中心的设计思想。

在进入智能化生活的今天，智能家居、智能手机、智能汽车以及无人零售等新兴行业的应用中，基于红外触摸技术的各种遥感控制一定会为我们带来想象无限的神奇体验。

编辑：黄飞