计算机视觉与语音处理的交叉增强
跟大家分享一篇非常有意思也很有用的文章，是WACV 2021的录用论文Visual Speech Enhancement Without A Real Visual Stream。该文研究涉及计算机视觉与语音处理的交叉。
论文信息：
作者来自：印度 IIIT Hyderabad 和英国巴斯大学。
语音增强是语音处理的经典研究内容，以往的语音增强往往只将语音作为输入信号，这在现实世界的嘈杂环境中往往效果不佳。
近年来一种视觉辅助的语音增强技术取得了突破，通过跟踪视频中人物口型，可以较好的辅助过滤环境噪声。但其需要人物正脸在视频中，使用场景较为狭窄，毕竟大多数场景下，没有人物正脸，甚至没有视觉信息辅助。
该文学者指出，实际上根据语音进行唇语合成已经是一个较为成熟的技术，在现有框架下，可以直接使用语音信号本身合成人物口型的视频，进而辅助语音增强。
以下视频展示了最终语音增强的效果：
该文在多个数据集上取得了SOTA的结果，并且该技术可以用于任何语言的语音增强，但由于其中含有视觉生成部分，估计相比传统算法时间开销较大。作者已经开源了代码，感兴趣的朋友可以试一下。
原文标题：无中生有！没有视觉信号的视觉语音增强
文章出处：【微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。
责任编辑：haq
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
计算机
+关注
关注
19文章
7337浏览量
87614 -
机器视觉
+关注
关注
161文章
4317浏览量
119959
原文标题：无中生有！没有视觉信号的视觉语音增强
文章出处：【微信号：vision263com，微信公众号：新机器视觉】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
计算机视觉有哪些优缺点
计算机视觉作为人工智能领域的一个重要分支，旨在使计算机能够像人类一样理解和解释图像和视频中的信息。这一技术的发展不仅推动了多个行业的变革，也带来了诸多优势，但同时也伴随着一些挑战和局限性。以下是对
计算机视觉的工作原理和应用
计算机视觉（Computer Vision，简称CV）是一门跨学科的研究领域，它利用计算机和数学算法来模拟人类视觉系统对图像和视频进行识别、理解、分析和
计算机视觉与人工智能的关系是什么
引言 计算机视觉是一门研究如何使计算机能够理解和解释视觉信息的学科。它涉及到图像处理、模式识别、机器学习等多个领域的知识。人工智能则是研究如
计算机视觉与智能感知是干嘛的
引言 计算机视觉（Computer Vision）是一门研究如何使计算机能够理解和解释视觉信息的学科。它涉及到图像处理、模式识别、机器学习等
计算机视觉和图像处理的区别和联系
数据的过程。计算机视觉的目标是使计算机能够像人类一样“看到”和理解图像或视频内容。 1.2 图像处理 图像处理，也称为数字图像
深度学习在计算机视觉领域的应用
深度学习技术的引入，极大地推动了计算机视觉领域的发展，使其能够处理更加复杂和多样化的视觉任务。本文将详细介绍深度学习在计算机
计算机视觉的主要研究方向
计算机视觉（Computer Vision, CV）作为人工智能领域的一个重要分支，致力于使计算机能够像人眼一样理解和解释图像和视频中的信息。随着深度学习、大数据等技术的快速发展，计算机
计算机视觉的十大算法
随着科技的不断发展，计算机视觉领域也取得了长足的进步。本文将介绍计算机视觉领域的十大算法，包括它们的基本原理、应用场景和优缺点。这些算法在图像处理
计算机视觉与图像处理、模式识别、机器学习学科之间的关系
计算机视觉(computer vision):用计算机来模拟人的视觉机理获取和处理信息的能力。就是指用摄影机和电脑代替人眼对目标进行识别、跟
最适合 AI 应用的计算机视觉类型是什么？
计算机视觉是指为计算机赋予人类视觉这一技术目标，从而赋能装配线检查到驾驶辅助和机器人等应用。计算机缺乏像人类一样凭直觉产生
什么是计算机视觉？计算机视觉的三种方法
计算机视觉是指通过为计算机赋予人类视觉这一技术目标，从而赋能装配线检查到驾驶辅助和机器人等应用。计算机缺乏像人类一样凭直觉产生
最适合AI应用的计算机视觉类型是什么？
计算机视觉是指为计算机赋予人类视觉这一技术目标，从而赋能装配线检查到驾驶辅助和机器人等应用。计算机缺乏像人类一样凭直觉产生
工商网监
评论