0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

VR拯救3D音效说是伯乐也不为过

454398 来源:网络整理 作者:工程师1 2018-05-22 14:39 次阅读

VR受到无数追捧,随着自身技术的发展,带动了一批产业的升级换代3D音效正是其中的一员。在开发者对游戏画面、内容多年来越发精益求精的发展下,游戏的VR化,终于迎来了游戏音乐的春天。Waves Audio发明带有头部追踪器的Waves Nx耳机实现3D空间音效;谷歌的开源项目Omnitone,为网页VR提供真实的音频系统。3D音效,在音乐发烧友的世界之外,获得了更多行业的关注和投资。不过,这个通过音效让人身临其境,仿佛与表演者身处同一个空间的3D音效,和所有人以为的“现代”、“前沿”不同的是,它的开发有着上百年历史。

3D音效:人头录音

3D音效的目的就是让你完全置身于现实声音的原始环境中,你能感到鸟从头顶飞过,左边有耳语,右边有街头表演,感受到声音的位置,在脑海中浮现出真实的画面。

传统上,录音被分为单声道(Mono)和双声道(Stereo)两种,区别在于捕捉声音的传声器的数量。在双声道录音的基础上,人们改进发明了立体声录音(人头录音),在仿真头的两侧,放置两个人耳形状的传声器。人脑定位声音位置基本依靠三个要素:耳朵的形状、听到声音的时间差和声音对两耳的产生的不同的压力。因为仿真耳朵在外形和密度上都离去还原人耳,所以这类的传声器能和人耳一样地捕捉和传输声音,保持左右耳间的差别。

3D音效的历史

人头录音的历史可以追溯到19世纪末期,法国的工程师Clement Ader。1881年,Ader开发出了电话戏剧(Theatrophone),一种通过电话服务转播的巴黎戏剧表演,一套套的麦克风从舞台的左边一路排到右边,信号通过电话输,听众只需要一副接收器,就可以在巴黎工业宫中的包厢中听戏。

1933年,AT&T的贝尔实验室在芝加哥博览会上展出了双耳立体声,带来了一个在双颊耳前安装了麦克风传输器的机械仿真人奥斯卡。奥斯卡在玻璃房间中捕捉声音,而外面的访客可以听到和它一样的声音。AT&T的这项技术,由Ader的发明改进而来,不过两者的音质都没有什么本质的提升。

经历二战,3D音效依旧过不去高音质这道坎,直到1973年,一个德国麦克风公司Neumann生产了革命性的KU-80,也是后来的人头录音设备的原型:一个仿真头,左右两边各有一个传输器,并极大提升了对声音位置的捕捉的灵敏度。同时,人头录音也找到了自己适合的领域,这项技术在广播、实验音乐上都得到了大力发展。摇滚主唱们,如Lou Reed,Thom Yorke,Imogen Heap等都进行了人头录音的实验。

上世纪90年代末,一个叫Aureal的公司发布了A3D技术。Aureal的技术能利用电脑本身的两个台式的音箱,不外接音箱的情况下,制造出3D音效,通过A3D,你能够清楚地辨别声音前后左右和上下的位置。A3D是声学工程师们根据3D音效的原理建立了一套数字模型算法,称之为头相关变换函数(Head-related Transfer Function, HRTF)。在精确的HRTF值下,体验者不仅能够感受到声音的方向,并能确切地感受到不同声音来源的远近,并随着自己的移动而感受到和声音源距离的变化。理论上来说,个体差异导致每个人的HRTF值都不相同,不过,人类的大脑有着很强的适应能力,虽然你在一开始使用别人的HRTF数值时,可能产生声音定位困难,但是当你习惯以后,人脑就会自动学习,并主动进行适配。

不过,由于Aureal和对手公司Creative的恶性竞争,一场劣币驱逐良币的商业之战下,历经在大量官司的重创Aureal最终因无力经营而倒闭。

VR,3D音效的伯乐

经历一个世纪的发展,3D音效的技术再次获得了科技界的青睐,不论是VR设备还是VR游戏、视频资源,3D音效都作为VR系统的一个部分,youtube在4月推出的VR直播,就增加了立体声录音。

3D音效提供了一个扩展版的虚拟现实,它帮助了很多游戏和设备在视觉上的局限,完整了360°无死角的体验感受,没有声音的执导,人的视觉可能不受画面控制,而仿真的3D听觉的加入,能够很好地控制人的大脑,吸引用户的注意力。

乐队U2,Kanye West的音乐制作人Chris Milk,在过去的机场大型音乐会上,采用了3D音效。一个拥有8个耳朵的全方位立体声头,4对3Dio双耳麦克风,保证覆盖每个90°的空间,在VR设备下,保正观众的听觉和视觉的统一。在阿波罗工作室的Jean-Pascal Beaudoin看来,没有3D音效的VR体验是非常容易失败的:当你的大脑定位到声音来自左边时,它会预判当你左转90°后,声音的来源应该在你的正前方,而如果此时,声音依旧在你的左边,那么大脑就会将你从刚才的沉浸式体验中抽离出来。

不过,3D音效在VR内容中占的比重依旧不高,不论是电影还是游戏,音效常常是最后一个被考虑到的因素,VR不论是作为媒介还是内容,从设计伊始就考虑到内置人头录音,才能让让3D音效获得最大化的充分利用。

普伦斯顿大学机械与航空工程教授Edgar Choueiri,领衔3D音效和应用声学实验室数十年,在自己位于纽约上东区的家中,以一个世纪前的理论为基础,复原并优化了一套完整的双声道录音系统:BACCH SP,一个让每对音响都保留声音提示的过滤器,并以此创造出3D音效。Jawbone采用普林斯顿大学的这个算法,为无线蓝牙音响jambox制造过滤器,创造3D音效。运用同一套算法的App,BACCH-dSP,在头部追踪器的配合下,能够定位听者的头部动作,更精确地创造出3D音效的环境,软件的OS版本也实现了3D音效在笔记本上的应用。

VR对音效的高要求,被遗忘在历史角落的3D音效终于再次复苏,各家的VR设备都让它不再是可有可无的佐餐小菜,而是沉浸式体验成败的关键

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2862

    浏览量

    107323
  • vr
    vr
    +关注

    关注

    34

    文章

    9633

    浏览量

    150054
收藏 人收藏

    评论

    相关推荐

    发掘3D文件格式的无限潜力:打造沉浸式虚拟世界

    在当今数字化时代,3D技术的应用范围日益广泛,涵盖电影后期制作、产品原型设计、虚拟现实(VR)、增强现实(AR)、游戏等众多领域。而3D文件格式作为3D技术的核心组成部分,对于实现
    的头像 发表于 09-26 18:14 1452次阅读
    发掘<b class='flag-5'>3D</b>文件格式的无限潜力:打造沉浸式虚拟世界

    透明塑料件喷粉3D扫描CAV全尺寸检测逆向3D建模设计服务-CASAIM

    3D建模
    中科院广州电子
    发布于 :2024年08月30日 10:04:53

    3D封装热设计:挑战与机遇并存

    随着半导体技术的不断发展,芯片封装技术在持续进步。目前,2D封装和3D封装是两种主流的封装技术。这两种封装技术在散热路径和热设计方面有着各自的特点和挑战。本文将深入探讨2D封装和
    的头像 发表于 07-25 09:46 1287次阅读
    <b class='flag-5'>3D</b>封装热设计:挑战与机遇并存

    裸眼3D笔记本电脑——先进的光场裸眼3D技术

    随着科技的不断进步,裸眼3D技术已经不再是科幻电影中的幻想。如今,英伦科技裸眼3D笔记本电脑将这一前沿科技带到了我们的日常生活中。无论你是专业的3D模型设计师,还是希望在视频播放和模型展示中体验逼真
    的头像 发表于 07-16 10:04 458次阅读

    3D建模的重要内容和应用

    和应用。 1. 建筑设计与规划 在建筑领域,3D建模被广泛应用于建筑设计和规划过程中。建筑师可以利用3D建模软件创建逼真的建筑物模型,帮助客户更好地理解设计概念和空间布局,同时进行各种设计方案的可视化展示和分析。这不仅使得设计
    的头像 发表于 06-21 14:48 561次阅读

    VR虚拟空间中的3D 技术

    随着科技的飞速发展,虚拟空间已成为元宇宙的重要呈现方式。从游戏到工业设计,从电子商务到文旅体验,3D相关技术在虚拟空间中发挥着举足轻重的作用,决定着用户们能否真正能体会到VR的沉浸式体验。 虚拟空间
    的头像 发表于 04-29 09:36 1504次阅读
    <b class='flag-5'>VR</b>虚拟空间中的<b class='flag-5'>3D</b> 技术

    ad19中3d模型不显示?

    封装库导入3d模型不显示,但导入3d模型后的封装库生成pcb文件时显示3d模型,这是什么原因导致的。
    发表于 04-24 13:41

    头盔3D扫描逆向工程3d建模抄数测绘服务-CASAIM中科广电

    3D扫描
    中科院广州电子
    发布于 :2024年04月12日 14:03:01

    3D动画原理:电阻

    电阻3D
    深圳崧皓电子
    发布于 :2024年03月19日 06:49:19

    裸眼3D频频“出圈” 电信积极布局并发力裸眼3D领域

    随着科技的发展,现在3D视角已经不是新鲜事。而现在,裸眼3D应用则在频频“出圈”。特别是在5G的助力下,裸眼3D技术应用更是成为科技圈一个热点。
    的头像 发表于 03-11 17:33 630次阅读

    友思特C系列3D相机:实时3D点云图像

    3D相机
    虹科光电
    发布于 :2024年01月10日 17:39:25

    VR与AR和裸眼3D这三者有哪些区别?

    VR与AR和裸眼3D这三者有哪些区别? VR(虚拟现实)、AR(增强现实)和裸眼3D(无眼镜3D)是现代科技领域的三个重要概念。虽然它们都与
    的头像 发表于 01-09 14:20 4524次阅读

    如何搞定自动驾驶3D目标检测!

    可用于自动驾驶场景下基于图像的3D目标检测的数据集总结。其中一些数据集包括多个任务,这里只报告了3D检测基准(例如KITTI 3D发布了超过40K的图像,其中约15K用于3D检测)。
    发表于 01-05 10:43 548次阅读
    如何搞定自动驾驶<b class='flag-5'>3D</b>目标检测!

    提供3D打印材料与解决方案,助力3D打印产业发展

    提供3D打印材料与解决方案,助力3D打印产业发展
    的头像 发表于 12-12 11:12 522次阅读

    3D 封装与 3D 集成有何区别?

    3D 封装与 3D 集成有何区别?
    的头像 发表于 12-05 15:19 990次阅读
    <b class='flag-5'>3D</b> 封装与 <b class='flag-5'>3D</b> 集成有何区别?