0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Neurotech重建听到的声音 并探究人们是如何感知音乐的

IEEE电气电子工程师 来源:IEEE电气电子工程师 2023-08-25 16:39 次阅读

你脑子里有没有一首歌?加州大学伯克利分校神经科学家团队的一项新研究在了解音乐感知和认知的神经基础方面取得了重大进展,真正推动了与音乐相关的神经科学的发展。

最近发表在PLOS Biology杂志上的这项研究结果(journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.3002176)显示了人类大脑对音乐表演的反应。当我们的耳朵听到一段歌曲片段后,它会被我们的耳蜗(内耳的螺旋腔)转化为神经元活动。Ludovic Bellier是加州大学伯克利分校Helen Wills神经科学研究所的博士后,他研究大脑中的神经网络最终是如何“听到”这些声音的。

在他的团队的实验中,Bellier和同事分析了听迷幻摇滚乐队Pink Floyd歌曲的人的大脑活动。29名参与者是纽约州奥尔巴尼市奥尔巴尼医疗中心的癫痫患者。作为治疗的一部分,这些患者的大脑表面植入了电子传感器,他们被要求专心听Pink Floyd的歌曲“Another Brick in the Wall”。研究人员记录了每个脑电极的振荡电位,这些测量被称为皮层电图记录(ECoG),是反映每个电极周围大脑小区域神经活动的宽带信号

研究人员假设,每位患者记录的ECoG信号反映了他们的大脑是如何感知为他们播放的音乐的。为了验证他们的假设,并了解患者大脑中哪些区域最参与音乐感知,该团队拟合模型,以重建歌曲的音频频谱图,当以ECoG特征作为输入时,音频频谱图显示了声能在频率上随时间的分布。如果模型能够在正则化训练后准确地重建声谱图,那么ECoG特征必须反映关于向患者播放的音乐的一些信息

根据Bellier的说法,研究小组能够验证他们的假设。通过使用多种类型的模型来重建听觉信号,科学家们可以解码出歌曲输出音频的至少部分可听见的相似性。研究人员表示,据他们所知,他们的研究结果是第一份从ECoG数据中回归的音乐音频出版物。尽管原始音频和重建音频之间的相关性仍远未达到1比1——统计r平方值为0.325——但当将一些模型的输出转换回音频波形时,如果距离较远,则可以将其识别为经典歌曲。一种更复杂、更非线性的重建算法——所谓的多层感知器,或简单的双层人工神经网络——会产生0.429的更高r平方拟合值和更清晰的音频重建。

为了测试大脑中哪些区域最参与音乐处理,研究人员在去除电极输入的同时,对模型进行了相同的音频重建任务训练。总之,来自所有患者的ECoG数据覆盖了大脑的大部分总表面积,因此科学家们能够将大脑的许多潜在区域视为产生听音乐体验的关键参与者。

通过比较涉及所有大脑区域的模型和没有涉及的模型之间的性能变化——有时称为消融研究——研究人员能够说出每个大脑区域提供了多少信息。换言之,如果当特定区域的电极被移除时,重建精度没有大的变化,那么该区域就不会像音乐感知那样参与其中。

从这个过程中,研究人员发现,去除从大脑左右两侧一个称为颞上回(STG)的区域收集的脑电波数据会导致重建精度的最大下降。这个区域恰好位于耳朵附近,也被认为在语音处理中发挥着重要作用,因此它实际上可能在大脑处理复杂结构化声音的能力中发挥更大的作用。

该团队还发现,从左右STG中单独去除数据特征对重建精度的影响显著不同。这表明,参与者大脑右侧STG的活动比左侧STG有更多关于歌曲的信息。奇怪的是,该领域先前的研究表明,语音处理的情况似乎恰恰相反,左侧STG通常比右侧STG做更多的工作。Bellier说:“在95%的右撇子中,言语主要位于左半球。我们在论文中表明,音乐(在左右STG之间)分布更广,但具有右侧优势”——这意味着右侧STG处理的音乐信息比左侧多。”

“我们可以做一个非常简单的后续跟进,”Bellier说。也就是说,本研究只考虑了70到150赫兹的高频脑电波信息。然而,Bellier表示,根据ECoG信号的较低频率范围计算的音频特征也可以对重要信息进行编码。这就是为什么他说,该团队计划在当前论文中对不同频率范围的神经活动重复相同的分析。正如论文所总结的那样,该小组目前和未来的工作将增加“我们对人脑音乐处理理解的又一块砖”。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4762

    浏览量

    100523
  • 电极
    +关注

    关注

    5

    文章

    806

    浏览量

    27158
  • 神经元
    +关注

    关注

    1

    文章

    363

    浏览量

    18436

原文标题:Neurotech重建听到的声音 并探究人们是如何感知音乐的

文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    DM6446+TLV320AIC33录音功能不好,表现为能听到录制的声音,但声音小,是哪里出了问题?

    我现在平台是DM6446+TLV320AIC33,用来实现录音和播放功能,输入为麦克风,输出为耳机。现在播放功能是正常额,在耳机里能清楚地听到播放的wav文件,问题是录音功能不好,表现为能听到录制的声音,但
    发表于 11-08 07:38

    CS控制AIC3254时听不到声音是怎么回事?

    1、为什么通过CS软件,板子听不到声音 2、通过purepath软件 download code后可以听到电脑放的音乐,但只要操作CS软件又不能听见声音
    发表于 11-07 07:24

    tpa6135a2声音小了能听到噪声,为什么?

    tpa6135a2声音小了能听到噪声像是反馈自激的声音问下ti工程师 它是哪种放大PCB需要注意些什么的吗
    发表于 11-07 07:07

    TLV320aic3104怎么设置使耳机能听到人讲话的声音

    我公司有项目正在使用TLV320AIC3104 这颗TI codec IC,已拿到这颗IC的开发套件,但是现在用TLV320aic3104评估板有些问题请教。从电脑里面输出声音,耳机能正常收听。但是还不知道怎么设置使耳机能听到人讲话的
    发表于 11-07 06:44

    模拟功放听到有扑扑的声音,怎么处理?

    模拟功放的收入端是一个射频芯片出来的数字信号进入DAC,然后输出到模拟功放中,听到有扑扑的声音,应该是地环路不好,想问一下,这样的情况下需要把 哪些地尽量连到一起,还有这种情况DAC输出的音频信号的电流是怎么流向?多谢!
    发表于 11-06 07:57

    使用TLV320AIC3256时候,当音乐暂停时候,耳机可以听到“滋滋”的声音,为什么?

    使用TLV320AIC3256时候,当音乐暂停时候,耳机可以听到“滋滋”的声音
    发表于 10-24 07:15

    TLV3254能不能收听到半径8到10米的人说话的声音

    能不能收听到半径8到10米的人说话的声音,信噪比实在太低了,远处的听不清,增益缩小了又听不到的远处的声音?
    发表于 10-24 06:34

    TPA3118在播放的时候如果小音量就没问题,但是音量一加大,就听到啪的声音,为什么?

    TPA3118在播放的时候如果小音量就没问题,但是音量一加大,就听到啪的声音,喇叭没问题,因为接在别的地方听没这个现象。
    发表于 10-14 06:00

    PCM2707C输出同轴时,经常听到声音卡顿一下,为什么?

    做好的板子,在输出同轴时,经常听到声音卡顿一下。时间间隔不固定,有时候三五分钟,有时候七八分钟。后来测量同轴输出的波形,感觉有点不对,麻烦TI的专家帮忙看看,原理图参考的也是官方原理图,没有变化。附图是原理图和在输出20Hz(前端调到20KHz波形也是这样)音频的情况下
    发表于 10-12 07:29

    TLV320aic3104 DAC在默认不参与的情况下,就可以从输出端听到声音吗?

    ,HPROUT 仅仅power on,DAC不做任何配置,或者mute或者 powerdown,都能从HPROUT 听到一个大约输入音乐十分之一音量的音乐,带有很大的杂音,HPROUTmuted都不能消除
    发表于 10-11 08:00

    感知音频质量分析POLQA测试方案

    本方案将由音视频产品测试的发展历程、POLQA介绍、POLQA测试方案及核心设备介绍四大方面介绍感知音频质量分析POLQA测试方案。
    的头像 发表于 04-18 16:44 902次阅读
    <b class='flag-5'>感知音</b>频质量分析POLQA测试方案

    用STM32F105的USB做了一个读U盘MP3的播放器,为什么听到音乐播放速度很快?

    最近用STM32F105的USB做了一个读U盘MP3的播放器,使用I2S2_DMA输出音频数据,再使用TAS5711数字功放进行输出声音。读出文件的采样为44.1khz, I2S也设置为此采样率。不知为何,听到音乐播放速度很快
    发表于 04-02 06:52

    唯创知音WTN6040F语音芯片声音提示IC在家用雾化器中的应用介绍

    近年来,随着空气质量的恶化和呼吸道疾病的增多,家用雾化器成为了越来越多家庭的必备健康设备。然而,对于许多用户来说,正确操作雾化器准确掌握药物的使用时机和方式是一个挑战。为了解决这一问题,唯创知音
    的头像 发表于 12-08 08:59 421次阅读
    唯创<b class='flag-5'>知音</b>WTN6040F语音芯片<b class='flag-5'>声音</b>提示IC在家用雾化器中的应用介绍

    唯创知音WTR096A-16S语音芯片:引领喊话器声音还原新时代

    随着科技的不断发展,声音在各种场景中扮演着至关重要的角色。在喊话器领域,唯创知音的WTR096A-16S语音芯片以其卓越的性能和声音还原度的提高,为喊话器应用带来了全新的体验。1.声音
    的头像 发表于 12-06 09:26 555次阅读
    唯创<b class='flag-5'>知音</b>WTR096A-16S语音芯片:引领喊话器<b class='flag-5'>声音</b>还原新时代

    让你的声音听到:看看你的TWS耳塞是怎么设计的

    让你的声音听到:看看你的TWS耳塞是怎么设计的
    的头像 发表于 12-05 17:25 526次阅读
    让你的<b class='flag-5'>声音</b>被<b class='flag-5'>听到</b>:看看你的TWS耳塞是怎么设计的