0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

解决自动语音识别部署难题

星星科技指导员 来源:NVIDIA 作者:Sunil Kumar Jang Baha 2022-10-11 10:56 次阅读

成功部署自动语音识别( ASR )应用程序可能是令人沮丧的体验。例如,考虑到存在许多不同的方言和发音, ASR 系统很难在保持低延迟的同时正确识别单词。

无论您使用的是商业解决方案还是开源解决方案,在构建 ASR 应用程序时都有许多挑战需要考虑。

在这篇文章中,我强调了开发人员在向应用程序添加 ASR 功能时面临的主要痛点。我以 NVIDIA Riva 语音 AI SDK 为例,分享如何应对和克服这些挑战。

构建 ASR 应用程序的挑战

以下是创建任何 ASR 系统时存在的一些挑战:

高精度

低延迟

计算资源分配

灵活的部署和可扩展性

定制

监测和跟踪

高精度

衡量语音识别准确性的一个关键指标是单词错误率( WER )。 WER 定义为转录过程中识别的不正确和缺失单词总数与标记转录本中出现的单词总数之比。

有几个原因导致 ASR 模型中的转录错误,导致信息的误解:

训练数据集的质量

不同的方言和发音

口音和语音变化

自定义或特定领域的词和首字母缩略词

词的语境关系

区分语音相似的句子

由于这些因素,很难建立具有低 WER 分数的稳健 ASR 模型。

低延迟

一个对话人工智能 应用程序是由语音人工智能和自然语言处理( NLP )组成的端到端管道。

对于任何对话式人工智能应用程序,响应时间都是进行任何自然对话的关键因素。如果客户在等待 1 分钟后才收到响应,则与机器人对话是不实际的。

据观察,任何对话 AI 应用程序都应: 提供小于 300 毫秒的延迟 因此,确保语音 AI 模型等待时间远低于 300 毫秒限制,以集成到实时会话 AI 应用的端到端流水线中变得至关重要。

许多因素影响 ASR 模型的总体延迟:

Model size: 大型和复杂的模型具有更好的精度,但与较小的模型相比,需要大量的计算能力并增加延迟;即推断成本高。

Hardware: 这种复杂模型的边缘部署进一步增加了延迟要求的复杂性。

Network bandwidth: 流式传输音频内容和转录本需要足够的带宽,尤其是在基于云的部署情况下。

计算资源分配

优化 ASR 模型及其资源利用适用于所有人工智能模型,而不仅仅是 ASR 模型。然而,这是影响运行任何人工智能应用程序的总体延迟和计算成本的关键因素。

优化模型的全部目的是在计算级别和延迟级别降低推理成本。但是,对于特定架构,在线可用的所有模型都不是平等创建的,并且不具有相同的代码质量。他们在表现上也有巨大的差异。

此外,并非所有这些方法都以相同的方式响应知识提取、修剪、量化和其他优化技术,从而在不影响精度结果的情况下提高推理性能。

灵活的部署和可扩展性

创建准确高效的模型只是任何实时人工智能应用程序的一小部分。所需的周边基础设施庞大而复杂。例如,部署基础设施应包括:

流式支持

资源管理处

服务基础设施

分析工具支持

监测服务

创建一个定制的端到端优化部署管道,以支持任何 ASR 应用程序所需的延迟要求,这是一个挑战,因为它需要在每个管道阶段进行优化和加速。

根据给定实例必须支持的音频流的数量,语音识别应用程序应该能够自动扩展应用程序部署,以提供可接受的性能。

定制

让模型开箱即用始终是我们的目标。然而,当前可用模型的性能取决于其训练阶段使用的数据集。模型通常适用于它们已经暴露的用例,但一旦在不同的域应用程序中部署,同一模型的性能可能会下降。

具体来说,在 ASR 的情况下,模型的性能取决于口音或语言以及语音变化。您应该能够根据应用程序用例定制模型。

例如,在医疗保健或金融相关应用中部署的语音识别模型需要支持特定领域的词汇表。该词汇与 ASR 模型培训期间通常使用的词汇不同。

为了支持 ASR 的区域语言,您需要一套完整的培训管道,以便轻松定制模型并有效地处理不同的方言。

监测和跟踪

实时监控和跟踪有助于获得即时洞察、警报和通知,以便您及时采取纠正措施。这有助于根据传入流量跟踪资源消耗,从而可以自动缩放相应的应用程序。还可以设置配额限制,以在不影响总体吞吐量的情况下最小化基础设施成本。

捕获所有这些统计数据需要集成多个库,以捕获 ASR 管道各个阶段的性能。

Riva SDK 如何应对 ASR 挑战的示例

高级 SDK 可用于方便地为应用程序添加语音接口。在这篇文章中,我演示了如何在构建语音识别应用程序时使用 GPU 加速 SDK (如 Riva )来解决这些挑战。

高精度和计算优化

您可以在 NGC 中使用预训练的 Riva 语音模型,该模型可以使用 TAO 工具包在自定义数据集上进行微调,从而将特定领域的模型开发进一步加速 10 倍。

为 GPU 部署优化并加速了所有 NGC 模型,以实现更好的识别精度。 NVIDIA TensorRT 优化也完全支持这些模型。 Riva 的高性能推理由 TensorRT 优化提供支持,并使用 NVIDIA Triton 推理服务器来优化整体计算需求,进而提高服务器吞吐量

例如,以下是一些 NGC 上的 ASR 模型,它们作为 Riva 管道的一部分进一步优化,以获得更好的性能:

Conformer-CTC xLarge

Citrinet 512

从模型、软件到硬件, Riva 的整个堆栈不断优化,实现了以下目标: 12 与上一代相比的增益 。

poYBAGNE23WAPTnjAACmH65qQuU096.png

图 1.使用 NVIDIA Riva 的 ASR 性能加速

低延迟

流式和离线配置的延迟和吞吐量测量报告在 ASR 性能 Riva 文件部分。

在“流式低延迟” Riva ASR 模型部署模式中,大多数情况下的平均延迟( ms )远小于 50 ms 。使用这样的 ASR 模型,创建实时会话 AI 管道变得更容易,并且仍然达到《 300 毫秒的延迟要求。

灵活的部署和扩展

在任何平台上轻松部署语音识别应用程序都需要全面支持。 Riva SDK 在每一步都提供了灵活性,从对特定领域数据集的模型进行微调到定制管道。它还可以部署在云、本地、边缘和嵌入式设备中。

为了支持扩展, Riva 是完全容器化的,可以扩展到成百上千个并行流。 Riva 也包含在 NGC Helm 仓库 ,这是一个设计用于自动按下按钮的图表 部署到 Kubernetes 集群 。

定制

pYYBAGNE23aAfHHzAAIc6i0goes988.png

Figure 2. 定制技术包括从单词提升到微调标点和大写模型

定制技术 当开箱即用 Riva 模型无法处理训练数据中未出现的挑战性场景时,这是有用的。这可能包括识别窄域术语、新口音或嘈杂环境。

类似 Riva 的 SDK 支持 定制 ,从单词增强级别开始,并为最终用户提供定制训练其声学模型。

Riva 语音技能还提供了跨多种语言的高质量、预训练模型。有关支持的语言的所有模型的更多信息,请参阅 语言支持 部分。

监测和跟踪

在 Riva,基础 Triton 推理服务器度量 基于自定义和仪表板创建,可供最终用户使用。这些指标仅通过访问端点可用。

NVIDIA Triton 提供普罗米修斯指标,以及指示 GPU 和请求统计。这有助于监控和跟踪生产部署设置。

关键要点

这篇文章为您提供了开发具有 ASR 功能的 AI 应用程序时出现的常见痛点的高级概述。了解影响 ASR 应用程序整体性能的因素有助于简化和改进端到端开发过程。

Sunil Kumar Jang Bahadur 是 NVIDIA Inception 团队的高级解决方案架构师,专注于印度的人工智能初创企业。他在各种工业部门的软件开发和技术解决方案方面拥有 12 年以上的经验。他喜欢教机器,让它们更人性化。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4934

    浏览量

    102794
  • 语音识别
    +关注

    关注

    38

    文章

    1721

    浏览量

    112538
收藏 人收藏

    评论

    相关推荐

    语音识别技术的应用及发展

    语音识别是以语音为研究对象,通过语音信号处理和模式识别让机器自动识别和理解人类口述的语言。
    发表于 12-16 11:11 2331次阅读

    会物体识别语音识别的nao机器人

    ` nao机器人可识别大量物体和自动语音识别,并可通过Choregraphe软件保存物体信息和语音。此后,当它再次看到已保存的物体时或需要与
    发表于 02-13 14:09

    手机语音识别应用中DSP该怎么选择?

      随着DSP技术的进步,计算能力更强、功耗更低和体积更小的DSP已经出现,使3G手机上植入更精确更复杂的自动语音识别(ASR)功能成为可能。目前,基本ASR应用可以分成三大类:1. 语音
    发表于 09-02 07:03

    语音识别】你知道什么是离线语音识别和在线语音识别吗?

    很多都会问:我测X大讯飞的识别效果很好呀,为什么你们的不能达到这个效果呢?原因很简单,因为你所测试的是X大讯飞在线的语音识别模块,而我们的是离线的语音
    发表于 04-01 17:11

    自动语音识别的原理是什么?

    自动语音识别的原理是什么?如何利用WaveNet实现自动语音识别
    发表于 06-15 09:14

    离线语音识别及控制是怎样的技术?

    信号转化为文本或语义结果。  与传统的云端语音识别相比,离线语音识别的工作原理是将语音识别技术算
    发表于 11-24 17:41

    语音识别技术原理简介

    语音识别技术原理简介         自动语音识别技术(Auto
    发表于 03-06 10:38 1.1w次阅读

    语音识别技术,语音识别技术是什么意思

    语音识别技术,语音识别技术是什么意思  语音识别技术,也被称为
    发表于 03-06 11:16 2831次阅读

    语音识别,什么是语音识别

    语音识别,什么是语音识别 语音识别  与机器进行语音
    发表于 03-06 11:19 2600次阅读

    语音识别技术是什么_语音识别技术应用领域介绍

    语音识别技术,也被称为自动语音识别(ASR),其目标是将人类的语音中的词汇内容转换为计算机可读的
    发表于 01-02 18:36 1.7w次阅读

    英伟达最新推出部署边缘设备的语音识别技术

    英伟达近日一篇论文为语音识别技术在边缘设备上的部署带来了福音,其新提出的解码器方法即使在边缘嵌入式 GPU 上也能高效高速地执行。
    发表于 10-28 10:54 726次阅读

    自动语音识别的原理是什么,它的作用是什么

    Siri 、Alexa 等虚拟助手的出现,让自动语音识别系统得到了更广泛的运用与发展。
    发表于 03-20 10:34 2132次阅读

    语音识别系统的结构

    技术中,使得语音识别的性能得到了显著提升,也使得语音识别技术的普及成为了现实。 语音识别技术
    的头像 发表于 11-09 16:19 6830次阅读

    语音识别技术概述

    语音识别技术,也被称为自动语音识别AutomaTIc Speech RecogniTIon,(ASR),其目标是将人类的
    的头像 发表于 04-11 11:28 2w次阅读

    在本地与云端部署语音识别

      嵌入式扬声器验证也被更频繁地部署,并且通常被合并到唤醒触发器中,以降低其他人唤醒您的设备的可能性。对于语音识别和说话人验证,总是需要在错误接受(接受错误的用户)和错误拒绝(拒绝正确的用户)之间进行权衡。
    的头像 发表于 07-09 07:31 1197次阅读