0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

让音乐更柔和 MIT用AI过滤音源

jmiy_worldofai 来源:未知 作者:胡薇 2018-07-11 17:05 次阅读

一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研发的新系统 PixelPlayer,能够利用人工智能来区分和过滤声音,让音乐听起来更洪亮或更柔和。

将指定视频录入经过充分训练的 PixelPlayer,系统随机能够过滤伴奏,同时识别音源,接着计算图像中每个像素的音量,然后通过“空间定位”确定产生相似音波的片段。

今年9月,德国慕尼黑即将举行欧洲计算机视觉会议(European Conference on Computer Vision),会议中要发表的一篇新论文则详细论述了“像素的声音(The Sound of Pixels)”。麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的合著者 Zhao Hang 同学表示,“最好的情况就是,我们能识别出哪种乐器发出怎样的声音。”

PixelPlayer 的核心是一种基于乐器组合多模态训练的神经网络,数据集采用了 Youtube 上 714 条未经修剪且未经标记的视频。其中,总时长为 60 小时的 500 条视频用于训练,剩余的则用于验证和测试。在训练过程中,研究人员分别根据原声吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法

这只是 PixelPlayer 多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中提取出视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆分为片段,并从中提取特征。最后,音频合成网络将把上述两个网络输出的特定像素和声波关联起来。

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。Zhao Hang 说,较大的数据集增强了系统的识别量,但识别乐器子类的能力却不佳。系统也可以识别音乐元素,例如小提琴的谐波频率。

研究人员认为 PixelPlayer 可以进行声音剪辑,或者帮助机器人理解动物、车辆和其他物体所制造的环境声音。他们写到,“我们希望我们的工作能够开辟新的研究途径,从视觉和听觉信号角度实现声源分离”。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4733

    浏览量

    100410
  • AI
    AI
    +关注

    关注

    87

    文章

    29743

    浏览量

    268043
  • MIT
    MIT
    +关注

    关注

    3

    文章

    253

    浏览量

    23343

原文标题:MIT实现用AI过滤音源 让音乐更悦耳

文章出处:【微信号:worldofai,微信公众号:worldofai】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    TPA3110功放一接上音源就保护,为什么?

    TPA3110做的功放板,客户退了几个坏板子回来 实测大部分都是左声道输入端的耦合电容(1uf)损坏,一接音源就进入保护 还有一个是耦合电容正常,但也是一接音源就进入保护 还有一个播放
    发表于 10-24 08:27

    TAS5805M是否支持mono音频格式的音源

    1、TAS5805M是否支持mono音频格式的音源?(TAS5805MEVM播放mono格式的扫频音源没有声音,直接用电脑播放有声音,示波器量测data有信号) 2、若要使TAS
    发表于 10-16 06:46

    PCM6360-Q1 MIC输入的音源如何播放?

    我在调试EVB的时候如何把MIC入的音源播放出去,目前我是使用示波器观察的TDM信号,可以通过模拟或者USB的方式把录入的音源播放出来么?用来确认输入和输出的音源匹配 谢谢
    发表于 09-30 08:03

    昆仑万维发布全球首个AI流媒体音乐平台Melodio

    昆仑万维在科技创新领域再次迈出重要一步,正式推出了全球首个AI流媒体音乐平台——Melodio,以及配套的AI音乐商用创作平台Mureka。这两款创新产品的问世,标志着
    的头像 发表于 08-14 17:44 779次阅读

    请问蜂鸣器播放音乐的时候如何同时播放两段音乐

    PWM 控制的音乐播放,可以按照乐谱播放音符 但现在有个需求,是在播放背景音乐的时候同时叠加一个前景音乐进去? 各位有什么好的思路吗?
    发表于 06-14 08:23

    音乐大模型掀起AI音乐创作热潮,AI“一语成歌”成为可能

    电子发烧友网报道(文/李弯弯)随着大模型技术的发展,AI音乐生成悄然而生。音乐生成是一个结合了人工智能技术和音乐创作的领域,它涵盖了从基本的音频信号模拟到复杂的
    的头像 发表于 05-30 01:01 3923次阅读

    谷歌推新AI音乐工具,发布第六代TPU芯片

    谷歌近日宣布与YouTube合作,推出全新音乐工具Music AI Sandbox。这款AI音乐创作工具将与传统AI
    的头像 发表于 05-16 09:44 347次阅读

    全球AI音乐会,第一次听见中国声音

    全球AI音乐盛宴中,中国首个音乐AIGC SOTA 的独特旋律
    的头像 发表于 04-19 11:01 353次阅读
    全球<b class='flag-5'>AI</b><b class='flag-5'>音乐</b>会,第一次听见中国声音

    一键消原音智能AI芯片PTN1118芯片简介

    PTN1118植入帕特纳微AI(SVS),实现将任意音源中人声部分消除,并在极大程度上保留伴奏,配合PTN 卡拉OK系列芯片,使传统音频设备富娱乐性。 支持模拟与数字输入输出,数字接口支持从模式 人声消除深浅度可调(比如,保留
    发表于 04-12 17:40

    BGP路由过滤、引入与缺省路由的配置实践

    第一个 AS-Path进行路由过滤 利用 AS-Path 进行路由过滤 R3只接收来自AS 100的 做正则表达式
    发表于 04-08 10:47 1063次阅读
    BGP路由<b class='flag-5'>过滤</b>、引入与缺省路由的配置实践

    音频功放原理:音乐重现原貌

    在音响设备的世界里,音频功放器是一个至关重要的组成部分。它负责将输入的模拟信号转换为足够的电流,驱动扬声器的振动,从而让我们能够欣赏到丰富多彩的音乐。那么,音频功放器是如何实现这一功能的呢?一、音频
    的头像 发表于 03-28 15:57 730次阅读
    音频功放原理:<b class='flag-5'>让</b><b class='flag-5'>音乐</b>重现原貌

    智慧路灯杆AI监测应用,高速出行安全

    针对更好监测和管理高速公路上的交通状况,可以基于智慧路灯杆打造AI交通监测应用,通过智能感知高速路段的路况、车况、环境状况,实现实时风险感知、风险预警和协同处置,高速出行安全。
    的头像 发表于 03-11 17:20 410次阅读
    智慧路灯杆<b class='flag-5'>AI</b>监测应用,<b class='flag-5'>让</b>高速出行<b class='flag-5'>更</b>安全

    FPGA末日计算器PC1500焕发数码新春

    FPGA如何PC1500古董计算器实现vgm音乐格式播放以及国产全能语音芯片和国产全能音源芯片控制和编程。
    发表于 12-01 13:46

    精密信号链设计容易

    电子发烧友网站提供《精密信号链设计容易.pdf》资料免费下载
    发表于 11-23 15:54 0次下载
    <b class='flag-5'>让</b>精密信号链设计<b class='flag-5'>更</b>容易

    各种智能能源应用智能

    电子发烧友网站提供《各种智能能源应用智能.pdf》资料免费下载
    发表于 11-17 10:29 0次下载
    <b class='flag-5'>让</b>各种智能能源应用<b class='flag-5'>更</b>智能