使用触觉反馈的听力替代

描述

聋人养育听力儿童

有没有想过聋人养育听力和口语的孩子，从婴儿到青少年及以后有多么困难？

父母在育儿的每个阶段都面临着独特的挑战。

刚出生的婴儿不会说话。他们知道的唯一交流就是哭泣。他们饿的时候哭，烦的时候哭，痛苦的时候哭。想象一个聋哑的父母，离婴儿床很近，他们什么也听不见！婴儿的哭声是听不见的。婴儿可能会感到真正的疼痛或不适，需要立即关注，但她的尖叫声将不会被听到。一款能够聆听婴儿哭声并通过可穿戴设备上的实时触觉反馈通知失聪父母的设备怎么样？

学龄前儿童与新生儿不同。他们学习了新的交流方式，他们学会了说话，但聋父母的问题仍然存在。他们无法听到他们的小孩试图交流的内容。但从积极的方面来说，孩子们可以学习使用智能手机或平板电脑，并且可以区分不同的图像或图标。是的，我说的是针对没有听力障碍儿童的聋哑父母的增强和替代交流 (AAC) ！

一款在平板电脑上运行的应用程序，幼儿可以通过它与失聪的父母交流如何？应用程序会将触觉信号发送到可穿戴设备，失聪的父母将能够识别信号模式。

大一点的孩子可能更喜欢说话而不是点击图标。如何通过语音映射类似的动作？

婴儿连接

介绍“Baby Connect”，一款在平板电脑上运行的应用程序。应用程序通过蓝牙连接到 Neosensory Buzz ，并在点击屏幕上的图标或按住屏幕上的录制按钮说出单词时通过振动发送触觉反馈。

在 iPad 上运行的 iOS 应用程序

 

该系统配有配备麦克风和环境传感器的设备，用于监测 IAQ（室内空气质量）、温度、湿度、环境光。麦克风记录周围的声音，并使用机器学习算法对其进行分析，以确定婴儿是否在哭泣。

带麦克风和 BME680 ENV 传感器的设备

 

可充电的

Baby Connect 设备由 1100mAh 锂电池供电，带有 TP4046 充电模块和为 Nano BLE Sense 供电的 5V 升压器。我已经测试了通过 BLE 连接到 App 的设备，电池持续了 32 小时，这在我看来非常好。

应用程序背后的思考

增强和替代交流 (AAC) 是当孩子没有能力使用语音作为主要交流方式时的一种交流方式。在研究 AAC 时，我意识到同样的技术可以应用于听力受损的父母。但后来我开始思考如何将 AAC 动作（图标或图像）转化为振动。我一直在寻找一个代表不同 AAC 动作的编码模式。最近我在看一部电影，其中一个人被困在废弃的地下室几个月，试图通过灯泡使用摩尔斯电码进行交流。在摩尔斯电码中，有 DOT 和 DASH。仅使用一个具有不同模式的通道，我们就可以表示所有英语字母表。我决定采用类似的概念来表示 AAC 动作。使用新感觉嗡嗡声，将动作映射到振动

在结合了 AAC 和摩尔斯电码的概念后，我将每个 AAC 动作（例如 Like、Thank You、Hungry 等）映射到带有 DOT 和 DASH 的视觉模式。与摩尔斯电码的一个不同之处在于，在摩尔斯电码中，信号是顺序的，例如 DOT DOT DOT (S) 或 DASH DASH DASH (O)，但在这里，由于 Buzz 有 4 个可以独立振动的电机，因此我们有 4 个通道。所以“LIKE”用DOT、DOT、DASH表示（电机1、2、3同时振动）

 

DOT用低频50表示，DASH用高频255表示。所以上面的“LIKE”动作用[50,50,255,0]表示，重复40次（40帧）

 

同样，我已经将其他几个 AAC 动作映射到振动，如上图所示。

训练你的大脑

过去，人们认为人的大脑在一定年龄后不会生长或变化，就像静止的器官，但最近的研究和研究证明，神经网络会随着时间的推移而变化，产生新的通路并删除旧的通路。这被称为大脑可塑性。研究人员在伦敦市参加出租车驾驶考试前后研究了驾驶员的大脑，并观察到考试后大脑中出现了新的神经通路。

类似地，触觉反馈可用于使用常规的视觉或听觉神经通路向大脑发送一些视觉信号或音频信号。随着时间的推移和练习，大脑会接受触觉反馈并处理它们，就好像它们是从视网膜或耳朵接收到的一样，代替失去的感觉。

还证明可以开发新的感官。例如，我们通常在深度睡眠时除了气味之外什么都感觉不到，但可以训练我们的大脑即使在睡眠时也能对一些触觉反馈做出反应，从而创造新的感官。在培训页面上，应用程序将向用户展示不同的卡片并振动嗡嗡声。用户必须猜出正确的卡片。如果选择不正确，卡片将以红色突出显示。如果选择正确，卡片将以绿色突出显示，并显示下一组卡片。随着时间的推移，用户将能够使用图标映射振动。

婴儿活动监测

Baby Connect 设备在具有内置麦克风的 Arduino Nano BLE Sense 微控制器上运行 Edge Impulse 推理。麦克风录制 3 秒音频样本并将音频分类为 4 个标签 - 噪音、饥饿、烦躁和痛苦。

 

我从不同的背景噪音中收集了 5 分钟的噪音数据，例如人们说话、厨房水龙头、切菜、空调、风扇等。大约 3 分钟的饥饿、烦躁和疼痛。

对于婴儿哭泣数据集，我使用了https://github.com/gveres/donateacry-corpus存储库，它是活动的一部分。我还收集了来自 youtube 的音频。在分析不同类型的婴儿哭声时，我发现了饥饿与疼痛的模式。当宝宝痛苦时，会不停地哭泣，只是为了呼吸而休息。但是当他们饿的时候，你会注意到它们之间有一些空隙。但是很难区分饥饿和挑剔。目前，我的模型能够以大约 85% 的准确率对噪音和婴儿哭声进行分类，但在区分饥饿、疼痛和挑剔方面并不是很好。我需要更多数据才能使这项工作更好。我将很快开始一项“捐赠”活动，以收集来自世界各地的数百个数据并增强模型。我还将开源 EI 项目，以便其他人可以做出贡献。

 

 

 

 

当 BLE sense 检测到哭声时，它会通过蓝牙将数据发送到应用程序，应用程序会振动 Buzz。同时，它会将所有 3 个 LED 变为红色，以防父母错过振动。LED 指示灯亮起，直到用户按下蜂鸣器上的“+”或“-”按钮。

婴儿环境监测

Nano BLE Sense 连接到 BME680 传感器，可提供非常精确的温度、湿度、环境光和室内空气质量 (IAQ) 读数。使用时可以按下 Buzz 上的电源键，通过震动感受数据。传感器的读数映射到 0-255 范围并发送到蜂鸣器。

 

对按钮进行编程

使用最新的 Neosensory 固件，您现在可以对蜂鸣器上的所有 3 个按钮和 LED 进行编程。高级用户可以使用 Buzz 按钮通过摩尔斯电码进行通信。查看下面的演示。

语音/语音翻译

对于年龄较大的孩子或高级用户，点击图标可能看起来很耗时。相反，用户可以点击并按住应用程序上的麦克风按钮并说出动作。应用程序会将捕获的语音转录为文本并将其映射到 AAC 操作。

 

使用 AWS 预测的语音转情感

这是正在进行的工作。我正在与 AWS Amplify 集成以利用 AWS Prediction。