0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

眼动追踪中的坐标+追踪原理

云深之无迹 来源:云深之无迹 作者:云深之无迹 2022-09-26 11:17 次阅读

目前的追踪方案都是基于CV的,使用红外灯光打亮眼底,使用高帧率的相机来捕获光源在角膜上面的位置。其实这个不难,难点在多个坐标之间的转换,因为有些是固定的,有些是不固定的,这就需要各种转换了,这个也是我们的眼动中最重要也是最需要研究的东西。 所有注视数据都映射到与活动显示区域对齐的 2D 坐标系中。将眼动仪与监视器一起使用时,活动显示区域是不包括监视器框架的显示区域。对于在没有显示器的情况下使用的眼动仪,活动显示区域是在对用户眼睛进行眼动仪校准时用于显示校准点的区域。 活动显示坐标系的原点是活动显示区域的左上角。点 (0, 0) 表示左上角, (1, 1) 表示右下角。

24050266-3d47-11ed-9e49-dac502259ad0.png

主动显示坐标系 (ADCS)

大多数描述 3D 空间坐标的数据,来自 Tobii 的基于屏幕的眼动仪,都在所谓的用户坐标系或简称 UCS 中给出。UCS 是一个基于毫米的系统,其原点位于眼动仪正面的中心。 坐标轴的方向如下:x 轴水平指向用户的右侧,y 轴垂直指向用户的上方,z 轴指向用户,垂直于眼动仪的前表面。

243b2b20-3d47-11ed-9e49-dac502259ad0.png

用户坐标系 (UCS)

跟踪框是眼动仪理论上能够跟踪眼睛的体积。因此,用户可以自由移动头部,并且只要眼睛保持在框内,就仍然可以跟踪。在 SDK 中,有一些方法可以找出轨道盒体积的大小和位置,以及眼睛在其中的位置。用于描述眼睛在轨迹框内的位置的坐标系称为轨迹框坐标系(TBCS)。 TBCS 是一个归一化坐标系,在这种情况下,这意味着 trackbox 的对角坐标为 0,0,0(最靠近眼动仪的右上角)和 1,1,1(左下角) ,最远,角)分别。 坐标轴的方向如下:x 轴水平指向用户左侧,y 轴垂直指向用户下方,z 轴指向用户。

244cabde-3d47-11ed-9e49-dac502259ad0.png

轨道盒坐标系 (TBCS)

使用眼动仪时,最感兴趣的通常是注视,即一个人在看什么。但是,一个人不会将事物视为空间中的一个点,而是将其视为向量方向内的所有事物,该向量从被跟踪的人的眼睛开始,并在它碰到不透明的物体时结束。我们称之为凝视向量。(这是一种简化,因为它假设你只能看到中央凹中心记录的内容。) 视线来源 为左眼和右眼分别提供注视原点,并描述注视矢量开始的位置。三个浮点值分别用于描述 x、y 和 z 坐标。对于基于屏幕的眼动仪,位置总是在用户坐标系中描述,有时在跟踪框坐标系中。 凝视点 注视点是为左眼和右眼分别提供的,它描述了活动显示区域平面与源自与注视矢量方向相同的注视原点的线之间的交点位置。注视点的坐标在用户坐标系中作为 3D 点给出,在活动显示坐标系中作为归一化的 2D 点给出。 凝视矢量 对于基于 HMD 的眼动仪,没有活动显示区域,因此无法计算注视点(如上所述)。相反,注视由(标准化)注视向量描述。分别为左眼和右眼提供注视矢量。注视向量源自注视原点,在HMD 坐标系中进行了描述。

这里需要写一下中HMD的眼动仪,我去找图哈~

245b5724-3d47-11ed-9e49-dac502259ad0.png

这个就是所谓的HMD眼动仪

HMD 坐标系是一个基于毫米的系统,其原点位于 HMD 设备的镜头之间的一点,与每个镜头中心的距离相等。 坐标轴方向如下:从佩戴者的角度看,x 轴水平指向左侧,y 轴垂直向上指向,z 轴指向(向前)远离 HMD,垂直到 HMD 跟踪器的镜头。

248d0c4c-3d47-11ed-9e49-dac502259ad0.png

追踪区域和前面的眼动有些不一样

HMD Tracking Area 是一个标准化的二维坐标系,其原点 (0, 0) 在右上角(从佩戴者的角度来看),而 (1, 1) 在左下角。每只眼睛应位于跟踪区域的中间,坐标为 (0.5, 0.5)。 瞳孔大小定义为瞳孔的实际内部物理大小,而不是从外部看眼睛时看起来的大小。记住这一点很重要,因为如果你从外部看到相同的内部瞳孔大小可能会有所不同,具体取决于你从哪个角度看眼睛。这是因为眼睛的前部基本上是一个透镜,通过它你可以看到瞳孔。根据你通过镜头观察的角度,瞳孔或多或少会出现扭曲。 然而,在大多数科学研究中,瞳孔的实际大小不如其随时间变化的大小重要。在眼动追踪会话期间记录瞳孔大小的变化。瞳孔直径数据分别为左眼和右眼提供,是对瞳孔大小的估计,以毫米为单位。 眼睛张开度定义为上下眼睑之间可以安装的最大球体的直径(以毫米为单位)。上下眼睑由巩膜和睫毛/眼睑结构之间的对比线定义。

24b3db4c-3d47-11ed-9e49-dac502259ad0.png

大眼睛

这里再补一个眼动仪器的原理:

瞳孔中心角膜反射 (PCCR)。基本概念是使用光源照亮眼睛,引起高度可见的反射,并使用相机捕捉显示这些反射的眼睛图像。然后使用相机捕获的图像来识别光源在角膜(闪光)和瞳孔中的反射。然后可以计算由角膜和瞳孔反射之间的角度形成的向量——这个向量的方向,结合反射的其他几何特征,然后用于计算注视方向。 近红外照明用于在对象眼睛的角膜和瞳孔上创建反射图案,并且图像传感器用于捕获眼睛的图像和反射图案。然后使用图像处理算法和眼睛的生理 3D 模型以高精度估计眼睛在空间中的位置和注视点。

24f285b8-3d47-11ed-9e49-dac502259ad0.png

结合上面的一些坐标空间的概念就可以看到这个东西的意思啦

2528c786-3d47-11ed-9e49-dac502259ad0.png

我之前写过一个pupill的眼动仪,这个是单眼追踪的方案

(A)当以球形坐标表示地面真实注视方向dgt时,可以将其可视化为球体上的一个点(参见上下面板中的蓝色圆盘;两个面板都显示相同的球体部分,尽管从不同的角度)。将瞳孔不可见注视估计管道应用于相应的并发左眼和右眼图像对,导致注视估计d dev,它们分布在地面真实值(上下面板中的红色圆盘)周围。

(B) 正交投影到局部切线平面中,有效地展平了球体的曲率。因此,凝视估计值可以被视为 2D 平面中的点(白色圆盘)。因此,它们会产生点的2D分布,这可以通过2D高斯(密度显示为热图)来解释。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 监视器
    +关注

    关注

    1

    文章

    780

    浏览量

    33130
  • CV
    CV
    +关注

    关注

    0

    文章

    53

    浏览量

    16859
收藏 人收藏

    评论

    相关推荐

    本源产品丨指数追踪真机应用

    的收益。该投资方式具有简单、透明、低成本、风险分散等优势,获得了大多数希望取得市场平均回报的投资者的青睐。当前,金融机构在指数追踪、风险管理等工作主要依赖经典的数
    的头像 发表于 11-12 13:38 183次阅读
    本源产品丨指数<b class='flag-5'>追踪</b>真机应用

    基于光线追踪的渲染算法实现

    我们已经涵盖了所有需要说的内容!我们现在准备写我们的第一个光线追踪器。你现在应该能够猜到光线追踪算法是如何工作的了。首先,注意到自然界光的传播只是从光源发出无数条射线,反弹直到它们撞到我们眼睛的表面。因此,光线
    的头像 发表于 10-30 08:06 248次阅读
    基于光线<b class='flag-5'>追踪</b>的渲染算法实现

    园区封闭化管理之人员和车辆定位及轨迹追踪

    如今园区封闭化管理的需求越来越普遍,特别是化工类的园区,为了实现对园区内人员和车辆的准确高效管控,人车定位及轨迹追踪技术应运而生。本文将介绍这一技术在园区封闭化管理的重要作用。 一、 什么是人车
    的头像 发表于 10-11 11:20 387次阅读
    园区封闭化管理之人员和车辆定位及轨迹<b class='flag-5'>追踪</b>

    无线定位器追踪器跟手机怎么连接

    :在手机的蓝牙设置搜索并选择你的定位器设备。手机会自动搜索附近的蓝牙设备,并列出它们的名称。找到你的定位器追踪器的名称后,点击它,并根据手机的提示完成配对过程。 查看信息 :配对成功后,你就可以在手机上实时查看追踪
    的头像 发表于 09-29 10:01 5034次阅读

    如何远离网络追踪

    ​随着科技不断发展,生活、工作等都离不开网络。但网络追踪技术也随着科技的进步不断发展,人们在网络上的在线活动越来越容易被追踪和监控。这会威胁到个人隐私、信息泄露、身份盗窃等严重后果。所以,今天我想
    的头像 发表于 09-03 16:57 389次阅读
    如何远离网络<b class='flag-5'>追踪</b>

    SynSense时识科技携手苏黎世联邦理工发布Speck超低功耗追踪应用新突破

    近日,SynSense时识科技与苏黎世联邦理工学院联合研究成果在2024 CVPR Workshop发布。该研究是—项基于“感算一体”动态视觉智能SoC Speck的超低功耗追踪技术,结果显示端到端系统功耗低至2.89mW,
    的头像 发表于 08-06 18:02 1143次阅读
    SynSense时识科技携手苏黎世联邦理工发布Speck超低功耗<b class='flag-5'>眼</b><b class='flag-5'>动</b><b class='flag-5'>追踪</b>应用新突破

    用于人机交互的频率编码追踪智能隐形眼镜

    近日,南京大学现代工程与应用科学学院教授徐飞、陆延青,南京航空航天大学研究员陈烨团队同江苏省人民医院主任袁松涛团队提出了一种具有眼追踪功能的隐形眼镜。
    的头像 发表于 05-22 09:11 482次阅读
    用于人机交互的频率编码<b class='flag-5'>眼</b><b class='flag-5'>动</b><b class='flag-5'>追踪</b>智能隐形眼镜

    未来的眼睛: 南京大学团队研发出追踪隐形眼镜

    近日,中国南京大学联合江苏省人民医院、南京航空航天大学的研究团队研发出 一种具有眼追踪功能的隐形眼镜,外观和普通隐形眼镜无异
    的头像 发表于 05-20 10:18 517次阅读

    苹果将推出追踪辅助功能

    苹果近日宣布,将在今年晚些时候为iPad和iPhone用户推出一项革命性的辅助功能——追踪。这一功能旨在帮助身体残疾的用户通过眼睛轻松控制他们的设备。
    的头像 发表于 05-17 10:04 538次阅读

    运动科学的新里程碑:UWB模块在体育运动追踪的应用

    随着体育科学的不断发展和人们对健康生活的重视,体育运动追踪技术成为了体育科学领域的重要研究方向。UWB模块作为UWB技术的核心组成部分,在体育运动追踪具有重要作用,可以实现对运动员位置、速度
    的头像 发表于 04-12 15:04 442次阅读

    追踪跳线都用哪些场景

    于快速准确地查询和管理大量的线缆,提高管理效率。 数据中心:在数据中心中,由于存在大量的网络设备和线缆,使用鹰眼追踪跳线可以方便地追踪和管理这些线缆,保证网络的正常运行。 通信网络:在通信网络,线路的连接和断开是非常
    的头像 发表于 03-21 10:03 422次阅读

    追踪跳线是电子光纤配线架上专用的吗?

    是的,追踪跳线通常是在电子光纤配线架(Electronics Fiber Distribution Frame,EFDF)上使用的专用跳线。EFDF是一个中心化的电子光纤交叉配线架,通常
    的头像 发表于 03-16 14:51 440次阅读

    ESP32追踪设计实现-EyeTrackVR

    应用其实实现的主要功能是:实时注视估计和跟踪。注视估计是识别任何给定时刻的视线,而跟踪是连续跟随视线的能力。
    的头像 发表于 03-07 11:02 1650次阅读
    ESP32<b class='flag-5'>眼</b><b class='flag-5'>动</b><b class='flag-5'>追踪</b>设计实现-EyeTrackVR

    Meta技术官解析:Quest 3为何未集成追踪技术

    苹果刚发布的Vision Pro也不例外,其内部设有四个追踪相机,以此来增强用户体验感。IT之家观察发现,尽管Meta于2022年推出的Quest Pro装备有眼
    的头像 发表于 02-19 10:04 712次阅读

    微软AR/VR专利提出任意给定方向&lt;100 μm红外MicroLED照明透镜结构

    用于XR头显的追踪技术正在迅速发展。追踪和确定用户注视方向的一种技术包括分析指向用户眼睛
    的头像 发表于 01-17 11:25 726次阅读
    微软AR/VR专利提出任意给定方向&lt;100 μm红外MicroLED照明透镜结构