0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深度学习将对音频处理产生深远影响 亚马逊团队深度噪声抑制挑战赛中获胜

LiveVideoStack 来源:LiveVideoStack 作者:LiveVideoStack 2020-09-08 09:13 次阅读

该团队的非实时系统是性能最好的,而它的实时系统在整个系统中排名第三,在实时系统中排名第二,尽管只使用了4%的CPU核心。

文 / Arvindh Krishnaswamy 原文链接: https://www.amazon.science/blog/amazon-team-takes-first-place-in-interspeech-2020-deep-noise-suppression-challenge

电子语音通信中,噪音和混响不仅会损害语音清晰度,而且会导致听者在长时间努力理解低质量语音时感到疲劳。在COVID-19大流行期间,我们花在远程会议上的时间越来越多,这一问题比以往任何时候都更加重要。 在今年的Interspeech会议上的深度噪声抑制挑战便是为了帮助解决这个问题的一个尝试,分别在实时语音增强和非实时语音增强上进行比赛。在19个团队中,Amazon取得了最好的结果,在非实时赛道上获得了第一名(阶段1 |阶段2-final),在实时赛道上获得了第二名。

上面是一个有噪声的语音样本(上图) 下面是被研究者的系统抑制了噪声的同一个样本(下图) 为了满足真实世界的需求,我们将实时输入限制在CPU使用量的4%(在i7-8565U内核上测量),这远远低于竞赛所允许的最大限度。 然而,我们的实时输入非常接近(0.03平均意见分数)的第一名,并且击败了其他非实时的输入。 Amazon团队实时和非实时噪声抑制结果的音频示例可以在这里找到。 我们还发表了两篇论文(paper1-offline | paper2-real)来更详细地描述我们的技术方法。 在Interspeech中获胜的技术已经在Alexa通信公告和Drop in Everywhere功能中发布,并且从今天开始,我们的客户也可以通过使用Amazon Chime苹果macOS和微软Windows客户端来进行视频会议和在线会议。

优化的感知 传统的语音增强算法使用人工调整的语音和噪声模型,通常假设噪声是恒定的。 对于某些类型的噪音(例如汽车噪音),在噪音不太大或低混响的环境下,这种方法工作得相当好。不幸的是,它们经常在非平稳噪音上失败,比如键盘噪音和杂音。因此,研究人员转向了深度学习方法。

语音增强不仅需要从噪音和混响中提取原始语音,而且需要以一种人类耳朵感觉自然和愉快的方式进行。这使得自动回归测试变得困难,并使深度学习语音增强系统的设计复杂化。 我们的实时系统实际上通过直接优化了语音的感知特征(spectral envelope and voicing),利用了人类的感知因素同时忽略了与感知无关的方面。由此产生的算法产生了最先进的语音质量,同时保持非常高的计算效率。 对于非实时系统,我们采取了一种不妥协的方法,使用改进的U-Net深度卷积网络从增强的语音压缩每一点可能的质量,从而赢得了输入挑战。

一描绘经被允许使用的研究人员的实时系统的百分比中央处理器核心降噪后的一语音样本的平均意见分数(MOS)的变化的图像 在深度噪声抑制的挑战中,经过处理的音频示例被盲发送给人类听众,由他们对其进行评分,产生平均意见分数(MOS)。 在实时应用程序中,复杂性和质量之间总是需要权衡的。 右边的图显示了我们如何通过增加CPU需求来进一步提高实时提交的质量,或者通过牺牲一些质量来进一步节省CPU的使用。 红点表示提交挑战的实时系统,图像显示了MOS分数相对于不同CPU负载的变化。

人们普遍认为,深度学习最终将对音频处理产生深远影响。 虽然仍有很多挑战,比如数据增强,感知相关的损失函数或者处理看不见的情况,但未来依然非常令人兴奋。

原文标题:亚马逊团队在Interspeech 2020深度噪声抑制挑战赛中获得第一名

文章出处:【微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10829

    浏览量

    211196
  • MOS
    MOS
    +关注

    关注

    32

    文章

    1248

    浏览量

    93516
  • 噪音
    +关注

    关注

    1

    文章

    169

    浏览量

    23880
  • 亚马逊
    +关注

    关注

    8

    文章

    2629

    浏览量

    83206
  • 深度学习
    +关注

    关注

    73

    文章

    5493

    浏览量

    120999

原文标题:亚马逊团队在Interspeech 2020深度噪声抑制挑战赛中获得第一名

文章出处:【微信号:livevideostack,微信公众号:LiveVideoStack】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    GPU在深度学习的应用 GPUs在图形设计的作用

    随着人工智能技术的飞速发展,深度学习作为其核心部分,已经成为推动技术进步的重要力量。GPU(图形处理单元)在深度学习
    的头像 发表于 11-19 10:55 265次阅读

    深度学习RNN的优势与挑战

    循环神经网络(RNN)是深度学习领域中处理序列数据的基石。它们通过在每个时间步长上循环传递信息,使得网络能够捕捉时间序列数据的长期依赖关系。然而,尽管RNN在某些任务上表现出色,它们
    的头像 发表于 11-15 09:55 189次阅读

    NPU在深度学习的应用

    设计的硬件加速器,它在深度学习的应用日益广泛。 1. NPU的基本概念 NPU是一种专门针对深度学习算法优化的
    的头像 发表于 11-14 15:17 336次阅读

    GPU深度学习应用案例

    GPU在深度学习的应用广泛且重要,以下是一些GPU深度学习应用案例: 一、图像识别 图像识别是深度
    的头像 发表于 10-27 11:13 335次阅读

    AI深度噪音抑制技术

    AI深度噪音抑制技术通过深度学习算法实现了对音频噪声
    的头像 发表于 10-17 10:45 400次阅读
    AI<b class='flag-5'>深度</b>噪音<b class='flag-5'>抑制</b>技术

    FPGA做深度学习能走多远?

    的发展前景较为广阔,但也面临一些挑战。以下是一些关于 FPGA 在深度学习应用前景的观点,仅供参考: • 优势方面: • 高度定制化的计算架构:FPGA 可以根据
    发表于 09-27 20:53

    深度学习算法在集成电路测试的应用

    随着半导体技术的快速发展,集成电路(IC)的复杂性和集成度不断提高,对测试技术的要求也日益增加。深度学习算法作为一种强大的数据处理和模式识别工具,在集成电路测试领域展现出了巨大的应用潜力。本文将从
    的头像 发表于 07-15 09:48 806次阅读

    深度学习的时间序列分类方法

    的发展,基于深度学习的TSC方法逐渐展现出其强大的自动特征提取和分类能力。本文将从多个角度对深度学习在时间序列分类的应用进行综述,探讨常用
    的头像 发表于 07-09 15:54 733次阅读

    深度学习的无监督学习方法综述

    深度学习作为机器学习领域的一个重要分支,近年来在多个领域取得了显著的成果,特别是在图像识别、语音识别、自然语言处理等领域。然而,深度
    的头像 发表于 07-09 10:50 541次阅读

    深度学习的模型权重

    深度学习这一充满无限可能性的领域中,模型权重(Weights)作为其核心组成部分,扮演着至关重要的角色。它们不仅是模型学习的基石,更是模型智能的源泉。本文将从模型权重的定义、作用、优化、管理以及应用等多个方面,深入探讨
    的头像 发表于 07-04 11:49 982次阅读

    深度学习的模型优化与调试方法

    深度学习模型在训练过程,往往会遇到各种问题和挑战,如过拟合、欠拟合、梯度消失或爆炸等。因此,对深度学习
    的头像 发表于 07-01 11:41 705次阅读

    深度学习与传统机器学习的对比

    在人工智能的浪潮,机器学习深度学习无疑是两大核心驱动力。它们各自以其独特的方式推动着技术的进步,为众多领域带来了革命性的变化。然而,尽管它们都属于机器
    的头像 发表于 07-01 11:40 1202次阅读

    谷歌CEO皮查伊探讨AI革命:影响深远,AI将融入日常工作

    在访谈,主持人首先询问皮查伊为何选择使用谷歌的AI,他回应称,AI将对我们的生活产生深远影响。“AI的应用多种多样,能提升用户体验,简化工作流程,还能与AI进行
    的头像 发表于 05-28 15:00 555次阅读

    FPGA在深度学习应用或将取代GPU

    ,这使其在 AI 应用面临着一些挑战。 Larzul 表示,想要解决这些问题的解决方案便是实现现场可编程门阵列 (FPGA),这也是他们公司的研究领域。FPGA 是一种处理器,可以在制造后定制
    发表于 03-21 15:19

    GPU在深度学习的应用与优势

    学习究竟担当了什么样的角色?又有哪些优势呢?一、GPU加速深度学习训练并行处理GPU的核心理念在于并行
    的头像 发表于 12-06 08:27 1220次阅读
    GPU在<b class='flag-5'>深度</b><b class='flag-5'>学习</b><b class='flag-5'>中</b>的应用与优势