0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

聚焦语音 AI:在 AR 眼镜上可视化语音和声音

NVIDIA英伟达 来源:未知 2023-07-26 19:30 次阅读

音频可以包含从人类语言到非语言声音等各种声音,例如狗吠和警笛声。在为听力困难的人设计无障碍应用程序时,该应用程序应能够识别声音并理解语义。

这种技术将有助于聋哑或听力有障碍的人可视化语音,例如人类的对话和非语音声音。通过将语音和声音 AI 相结合,可以将这些可视化效果叠加到 AR 眼镜上,从而使用户能够看到并理解他们无法听到的声音。

根据世界卫生组织的统计,约有 15 亿人(占全球人口近 20%)患有听力损失。到 2050 年,这一数字将上升至 25 亿。

Cochl 是 NVIDIA 的合作伙伴,总部位于圣何塞。该公司是一家利用声音 AI 技术来理解各类音频的科技密集型初创企业。他同时也是 NVIDIA 初创加速计划的会员。通过提供尖端技术和 NVIDIA 专家的支持,该计划帮助初创企业更快地构建解决方案。

该平台可识别 37 种环境声音,并且 CochI 还加入了先进的语音转文本技术,使用户能够真正全方位地了解声音世界。

AR 眼镜可视化任何声音

AR 眼镜作为一个可视化声音的工具,有望极大改善听力损失者的生活。这项技术可以帮助提高他们的交流能力,使他们更容易理解和融入到周围的世界。

Cochl.Sense 和 NVIDIA Riva 在微软 HoloLens 2 上运行!

在此方案中,自动语音识别(ASR)使眼镜能够识别并理解人类的语音。这项技术可通过多种方式集成到眼镜中:

  • 使用麦克风捕捉与聋哑人或听力有障碍者交谈的人的语音,然后使用 ASR 算法解释语音并将其转录为文本,最后将该文本显示在眼镜上,从而使聋哑人或听力有障碍者能够阅读并理解该语音。

  • ASR 还可以使眼镜能够响应语音命令,以便用户可以通过语音控制眼镜。

  • AR 眼镜还能在屏幕上显示所有对话(例如在驾车时转录地图上的语音指示)以及其他声音(例如紧急车辆的喇叭声、警报声以及风声)。

解决方案背后的技术

Cochl 在其软件堆栈中使用了 NVIDIA Riva 来增强其 ASR 功能。Riva 是一个使用 GPU 加速、完全可定制的 SDK,用于开发语音 AI 的应用程序。通过使用 Riva,该平台的功能得以扩展,能够理解包括非语音声音在内的各种声音。

Cochl 联合创始人兼首席执行官 Yoonchang Han 表示:“我们测试了很多语音识别服务,但只有 Riva 提供了极高且稳定的实时性能。所以现在我们可以让我们的声音 AI 系统更加接近人类的听觉感知。”

“正如我们所观察到的,AR 眼镜最有可能在环境嘈杂的开放空间中使用。NVIDIA Riva 帮助我们在嘈杂的环境中也能准确转录语音,并为我们提供了无缝体验,可以集成到我们的 Cochl.Sense 平台上。”

辅助技术的未来

创建一个能像人类一样感知声音的通用 AI 系统是一项巨大的挑战。为了使 AR 眼镜更易于使用,需要更轻便的可穿戴技术。

尽管它们仍然是将声音和语音转化为视觉信息的理想媒介。通过集成机器听觉功能,AR 眼镜能够为世界各地的聋哑或听力障碍者带来更加安全、便捷和愉快的日常生活体验。

Cochl 还在探索语音 AI 的更多用例,例如为 AR 眼镜上的任何视频提供隐藏式字幕和实现多个发言者的转录。为了给听力障碍者带来最佳体验,该公司正在探索分析并可视化音乐的方法,以帮助他们至少能够理解音乐的类型和情感。

该公司期待体验更多的 NVIDIA 解决方案,包括 Riva、NVIDIA NeMo 和 NVIDIA TensorRT。

点击“阅读原文”,或扫描下方海报二维码,在 8 月 8日聆听NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲,了解 NVIDIA 的新技术,包括屡获殊荣的研究,OpenUSD 开发,以及最新的 AI 内容创作解决方案。


原文标题:聚焦语音 AI:在 AR 眼镜上可视化语音和声音

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3771

    浏览量

    90991

原文标题:聚焦语音 AI:在 AR 眼镜上可视化语音和声音

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    什么是大屏数据可视化?特点有哪些?

    大屏数据可视化是指通过大屏幕展示大量数据和信息,以直观、可视化的方式帮助用户理解和分析数据。这种展示方式通常用于展示复杂的数据集、实时监控系统、企业管理仪表盘等。以下是关于 大屏数据可视化 的详细
    的头像 发表于 12-16 16:59 135次阅读

    智慧能源可视化监管平台——助力可视化能源数据管理

    博达可视化大屏设计平台智慧能源领域的价值体现在实时监控、数据可视化、决策支持和效率提升等方面。借助该平台,企业可以轻松搭建智慧能源类可视化大屏,更加精确和高效地管理生产和生活,实现能
    的头像 发表于 11-29 10:00 276次阅读
    智慧能源<b class='flag-5'>可视化</b>监管平台——助力<b class='flag-5'>可视化</b>能源数据管理

    智慧楼宇可视化的优点

    智慧楼宇可视化是指通过数据可视化技术来展示和分析楼宇的各种数据,为楼宇管理者和用户提供直观、清晰的信息展示和决策支持。以下是智慧楼宇可视化的优点,详细介绍其楼宇管理和运营中的重要作用
    的头像 发表于 11-19 14:25 180次阅读

    三维可视化运用的主要技术

    介绍三维可视化运用的主要技术,涵盖渲染技术、建模技术、交互技术以及数据处理技术等方面。 首先,渲染技术是三维可视化中至关重要的一环。渲染是指将模型转化为图像或动画的过程,使其能够屏幕
    的头像 发表于 07-19 13:56 279次阅读

    大屏数据可视化 开源

    在当今信息爆炸的时代,数据已经成为各个行业决策制定和业务发展的关键。为了更直观、准确地理解和利用海量数据, 大屏数据可视化 成为一种强大的工具。通过将数据以图表、图形等形式展示大屏幕,不仅
    的头像 发表于 06-27 16:06 404次阅读
    大屏数据<b class='flag-5'>可视化</b> 开源

    如何实现园区大屏可视化

    孪生可视化 构建平台利用Web三维可视化技术对现实场景进行仿真,实现园区级业务场景 的可视化呈现,助力企业快速完成项目的实施。实现园区场景立体可先,极致可视。那么,今天古河云科技就来给
    的头像 发表于 06-19 15:39 412次阅读
    如何实现园区大屏<b class='flag-5'>可视化</b>?

    态势数据可视化技术有哪些

    智慧华盛恒辉态势数据可视化技术是一种将数据以图形、图像、动画等视觉形式展现出来的技术,特别是处理和分析态势数据时,该技术能够将复杂的数据转化为直观、易于理解的视觉表现。以下是态势数据可视化技术
    的头像 发表于 06-11 15:47 369次阅读

    大屏数据可视化的作用和意义

    大屏数据可视化是指利用大屏幕设备展示数据信息,通过图表、图像、动画等视觉手段将数据呈现出来,以便用户能够直观、清晰地理解数据背后的含义和关联。信息化时代,数据已经成为企业决策和运营的重要依托,而
    的头像 发表于 06-03 17:56 662次阅读

    三维可视化数据大屏的设计原理和技巧

    三维可视化数据大屏设计面向交通、园区、城市、建筑、应急等领域的客户,以孪生可视能力赋能,提供行业解决方案。双渲染引擎,1:1还原真实世界,模型运行流畅的基础提供极佳的视觉效果。今天
    的头像 发表于 05-30 17:09 520次阅读

    请问freertos可视化调试中打印任务信息是不是只可以打印一次?

    freertos中,使用可视化调试打印任务消息,但是打印不全,还只能打印一次,使用IAR自带的调试插件看,显示可视化调试任务的堆栈顶全是a,这事怎么回事?
    发表于 05-07 06:16

    FUXA基于Web的过程可视化软件案例

    FUXA——基于Web的过程可视化软件
    发表于 04-24 18:32 2次下载

    态势数据可视化技术有哪些

    智慧华盛恒辉态势数据可视化技术是一种将复杂、动态的态势数据以直观、易于理解的方式展现出来的技术手段。以下是几种主要的态势数据可视化技术: 网络安全态势指标可视化分析系统及方法,针对安全态势指标不准
    的头像 发表于 04-22 15:17 401次阅读

    物联网可视化监控大屏如何实现?有什么功能?

    物联网飞速发展的时代,可视化监控大屏成为了众多企业和机构实现智能管理和监控的重要工具。它将各种各样设备的运行状态和数据以图形、图表、动画等形式展示大屏或其他移动设备
    的头像 发表于 04-11 09:25 852次阅读

    OPPO发布全新AR眼镜Air Glass 3,集成AI语音助手功能

    OPPO于近日MWC 2024震撼发布了其最新增实境(AR眼镜原型——OPPO Air Glass 3。这款新型眼镜不仅在设计和技术上
    的头像 发表于 03-04 14:00 922次阅读

    可视化全程追溯,可视化资产管理系统

    摘要:本文将从应用价值、系统功能、资产盘点、资产出入库、资产定位以及系统实现能效等几个方面,阐述新导物联可视化资产管理系统为企业提供的优势,以提升资产管理的效率和准确度。 一、应用价值 可视化资产
    的头像 发表于 01-11 13:54 494次阅读
    <b class='flag-5'>可视化</b>全程追溯,<b class='flag-5'>可视化</b>资产管理系统