0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

虚拟世界的 3D 声音

观察专栏1 2024-01-17 18:12 次阅读

世界在不断变化。这种不断发展的状态意味着我们与世界、设备和 人们也在发生变化。除了利润动机之外,还有两股力量在支配这种变化。一是技术 正在推动我们前进,并通过必备的设备和应用程序吸引我们。另一个驱动力是 大流行驱动的对健康的关注。

随着人们有更多的时间去娱乐,沉浸式技术有机会取得进展。虚拟现实和增强现实耳机现在可从多家制造商处轻松获得。开发工具 让业余爱好者和专业人士渲染世界和场景景观。虽然视觉效果得到了所有的媒体,但音频是 也向前迈进。

在公认的五种感官中,声音可能是最受赞赏的。无论是来自大自然的丰富, 管弦乐队的饱满,或精神音乐的激荡,听起来与任何其他意义一样深刻 在情感和生理上影响我们。

到达这里

我们今天之所以存在,很大程度上是因为我们专注的倾听能力。例如,我们的祖先打猎 会使用声音来跟踪和寻找家庭或村庄的食物。使用声音定位潜在的致命来源 以3D,身临其境的方式使避免捕食者成为可能。我们可以感觉到某物在哪里,它有多远 是,以及它接近的速度有多快。

沉浸式音频是迄今为止最先进的音频处理和传输系统。要做到正确,需要音频 战略性地处理和一系列特征明确且经过校准的低音扬声器、扬声器和高音扬声器 放置以提供动态的全频谱聆听感觉。

尽管这样的实现已经超出了过去的普通发烧友,但电影院和 表演场所多年来一直在利用这项技术。像所有开创性技术一样,它 最终找到了通往世界其他地方的路。

现代娱乐系统利用许多专用过滤器和动态处理来创建经济实惠的产品 适合更多预算的实施。如今,家庭影院比以往任何时候都多,尤其是在大流行期间 世界,沉浸式音频肯定会出现在各地的游戏和家庭影院位置。

虽然立体声允许基本的环绕声功能,但最流行的环绕声和3D音频正在使用 今天是杜比数字 5.1 科技。这些系统被称为杜比 数字、杜比定向逻辑 II、DTS、SDDS 和 THX。它们都具有六扬声器配置(总共五个 带宽,一个低音炮)包围听者( 图1 )。这些环绕声 技术首先用于电影院,这有助于推进这些系统并使它们更多 具有成本效益,可供大众使用。

5.1 家庭影院设置。配有低音炮、中置扬声器、2 个前置扬声器和 2 个后置扬声器。
  • 图1: 环绕声 5.1 使用六个填充范围扬声器,放置在特定的 位置,以便音频处理工程师可以混合在空间上似乎在 听者。这里没有显示的是低音扬声器,因为它通常可以放置在任何地方。(来源:泽恩 Liew/Shutterstock.com)*

多个扬声器由独特的单个音频流驱动,以便虚拟声音的感知位置 环绕着听众。在这里,后左声道和右声道用于空间深度。左前方、右前方、 中置声道用于横向深度,单个低音炮分配低频低音 整个房间。

虽然非常适合位于收听区(或沙发)中央的单个听众,但每个听众都会 在其他任何地方体验细微的差异。相对均匀的声音会让大家在 聆听区体验动态音频。更重要的是,唱片艺术家正在宣传他们的最新 CD 作为 通过提供 5.1 环绕声轨道来沉浸式。

有趣的是,中前声道针对语音范围信号进行了优化。这有助于听众辨别 沉浸在 3D 声音中的对话。随着声音的带宽和饱满度变得流行,能够 区分语音变得更具挑战性,因此中置通道滤波和放大可以使对话 更容易理解。

增加一个后中央声道将规格提高到 6.1 环绕声( 图 2 ),7.1标准系统取消了后中央通道,但增加了左右中通道 ( 图3 )。

6.1 家庭影院设置。配备低音炮、中置扬声器、后置中置扬声器、2 个前置扬声器和 2 个侧扬声器。
  • 图2: 环绕声 6.1 提供横向扬声器以增强音频 随着音频对象从前移动到另一侧和向后移动而运动。同样,低音扬声器的位置是任意的。这里 这与低音无关。(来源:Zern Liew/Shutterstock.com)*

7.1环绕声技术增加了更多的扬声器和独特的声道。可以是 2.5-D 立方体或多边形 Create 可以扩展到战略位置的更多扬声器、高音扬声器和低音扬声器,让听众沉浸在 2D 中 和有限的 3D 音频( 图 3 )。直接在顶部或底部的东西可能有些 通过信号处理近似,但除非确认扬声器高于和 下面。

7.1 家庭影院设置。配有低音炮、中置扬声器、2 个前置扬声器、2 个侧扬声器和 2 个后置扬声器。
  • 图3: 以较小角度放置更多扬声器有助于消除音频 可能发生的热点,尤其是在轨道未正确混合或处理的情况下,或者如果音频 转换器无法正确处理环绕声。(来源:Zern Liew/Shutterstock.com)*

我们应该注意,来自立体声捕获的源转换器可以处理立体声音频信号以创建 合成多扬声器环绕声信号。这演示了数字信号处理如何分离 源位置主要来自立体声源。最好的解决方案是在3D麦克风中捕获声音 配置,然后以相同的 3D 扬声器配置播放。然而,这是繁琐和困难的, 当信号处理做出良好的近似时,大多数不会达到这些水平。

这始终是最好的方法吗?信号处理能否用更少的声音欺骗我们敏锐发展的听觉 扬声器,还是我们会继续创造声音的墙壁和天花板?

年轻的吉他手和扬声器3D背景
  • 图4: 越多越好。表演者习惯了过高的 扬声器和放大器。在大型户外环境中,这可能是必要的。但是你真的想要墙吗 声音?或者在某些时候,您是否意识到更好的声音比更大的声音更好?(资料来源: Tommistock/Shutterstock.com)*

面向对象的音频

沉浸式音频的最新实现来自杜比全景声(Dolby Atmos),专为剧院设计 应用。到目前为止,已经对近5,000个剧院进行了改造,以使用64个扬声器来利用这一点 最新的音频聆听体验。因此,它支持多达 128 个通道的广泛阵列,并且可以 配备全带宽、低频低音扬声器和低音炮,以及高频高音扬声器。

与常规音频不同,Atmos(以及竞争对手索尼) 360标准)使用音频对象的概念。视听接收器 (AVR) 将自动知道 扬声器的数量、类型和位置,并对每个音频对象的频谱进行处理 化妆、振幅位置、速度和方向。但是,它不仅仅是音频。对象包含元数据 这有助于对象音频呈现器 (OAR) 使对象处于运动状态。在 128 个通道中,有 10 个用于 环境词干和其他 118 个可用于音频对象。

并非每个通道都是扬声器。声道信息对应对象,对象音频可处理和 与其他对象音频组合,以适当的级别定向到每个扬声器。这取决于 AVR 使用元数据实时处理信号,以执行声音的实时混合和分配。

可以想象,它不像立体声,您只需放置几个扬声器,然后就可以 听。对于 Atmos 和许多环绕声和 3D 音响系统,必须放置扬声器,然后校准为 音景的准确部分。普通家庭不会使用所有128个频道。标准似乎是一个 用于家庭影院实施的 34 扬声器布置。

Atmos不是全新的。它于2012年在洛杉矶的一家剧院首次用于迪士尼电影首映式。 从那时起,大型剧院、IMAX、天文馆、音乐剧、戏剧和其他声音应用推动了它的发展。 成为用于为新电影和活动捕获音频的事实标准。Atmos还使用天花板扬声器来 创建完整的声音半球,使其更容易实时处理,同时提供来自上方的声音。

曾经,Atmos对于普通发烧友来说过于精致和昂贵,但现在它正在进入 对于有空间和预算让他们的朋友赞叹不已的爱好者来说,这是拥有的领域。它也相当高 在极客指数上。

如果您已经为其他环绕声技术咬紧牙关,则可以获得杜比全景声转换器 并仍然使用您现有的扬声器和放大器。但是,您将需要更多,包括天花板扬声器。 转换器将采用杜比 5.1 并通过 17 扬声器环绕声 7.4.1 实现进行转换。

值得注意的是,环绕扬声器的另一种方法是条形音箱。条形音箱技术 各种形式越来越受欢迎。降低成本、设置简单、功耗更低、 更少的电缆和更小的尺寸推动了这项技术的发展,即使我们向前发展也是如此。

相控阵垂直条形音箱已经证明了它们能够很好地模拟完整的音频频谱 清晰和分离。使用它们的音乐家会告诉您带有六英寸扬声器的条形音箱柱 为低音炮应用提供 18 英寸扬声器的声音清晰度。这应该引起一些人的注意。作为一个 因此,水平条形音箱和基于条形音箱的混合系统(包括远程扬声器)受到许多人的欢迎 家庭影院和工作室。

上下增强了这一点,侧向扬声器使声音反射到墙壁和天花板上 表面,似乎来自听众的上方或后面。现代特斯拉Model 3使用前部 条形音箱技术作为其 15 扬声器音频系统的一部分,以吹捧环绕声和身临其境的音频功能。转 关闭 Model 3 的后置扬声器,并通过信号处理和混响进入沉浸式音频模式,以显示其 能力。那些尝试过这种咒骂声音的人是从后面传来的。反馈好坏参半,很多人不喜欢 效果。评论家赞扬和批评这项技术,许多评论家提到不同的 音乐类型有效,不适用于条形音箱风格的沉浸式实现。这是有道理的,因为 再现的质量将取决于录音工程师的混音技术。这里的进步将意味着 精确的上下沉浸式声音技术几乎无需落地扬声器即可实现。

捕获与渲染

沉浸式视频体验(如游戏)在大多数情况下使用创建的环境。这些是 3D 结构 具有表面渲染和指定的物理属性。可以捕获和数字化的真实视频条带 拼接在一起以形成包含上方和下方图像的全景视图。

身临其境的体验(例如在国家公园中漫步)可以集成丰富的视觉效果,并且可以 通过预先录制的剪辑的组合合成或创建。它们可以以3D声音进行音频捕获 系统并用作沉浸式体验的一部分。就像由头部跟踪控制的视频一样,音频必须 也可以通过头部跟踪控制。例如,面对潺潺的小溪听起来与面对潺潺的小溪大不相同。 远离它,如果声音没有跟踪,就会缺乏身临其境的体验。

幸运的是,您不必发明自己的 3D 音频捕获来达到身临其境的目的。音频领导者喜欢 Sennheiser使用分段轴和数字工具捕捉专业真正的全向麦克风 高度定向的声音( 图5 )。AMBEO VR 麦克风包含多个易感宽带 环绕声配置中的麦克风元件。DearVR微处理软件可以渲染 定向音频以馈送标准环绕声配置。

年轻的吉他手和扬声器3D背景
  • 图5: 沉浸式音频捕捉技术,如Sennheiser AMBEO VR 麦克风允许数字音频引擎根据极坐标大小和方向呈现音景。 数字求和可以创建组合不同距离的多个声源的复合音频。 (来源:森海塞尔)*

为此,音频引擎需要知道您的头部方向和运动。使用耳机,这很容易 今天的标准。头部跟踪内置于视频渲染。但是如何创建一个身临其境的头部 使用仅限于两只耳朵的耳机的基于位置的音频系统?微型扬声器可以放置在 耳朵周围的耳机,模仿环绕声体验。对于大多数应用,立体声就足够了, 但它不会与真实的环绕声处于同一水平。

非娱乐应用

虽然大多数沉浸式音频和视频技术将用于娱乐,但也有专业的 使用。例如,产品设计工程可以从沉浸式技术(视频和音频)中受益。从 从视频角度来看,可以虚拟地构建、渲染和 检查。像喷气发动机这样的沉浸式生成组件可以被构造、推入和检查 查看齿轮和涡轮机是否对齐。世界另一端的维修技术人员可以通过 工厂专家沉浸在制造环境中。

即使是沉浸式音频在工程应用中也很有帮助。设计汽车的工程团队可以倾听 到发动机和变速箱噪声的渲染模拟。内部环境控制,如气流, 振动和振荡可以从虚拟设计中提取。窗户可以设计和测试为: 消除当我们以正确的方式摇下车窗时仍然发生在新车上的砰砰声振荡 以合适的速度定位。

在所有情况下,沉浸式体验都包括音频。但是,并非每种情况都需要环绕声,并且 模拟环绕声可能就足够了,至少在有人解决在 双耳耳机。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 3D
    3D
    +关注

    关注

    9

    文章

    2876

    浏览量

    107503
收藏 人收藏

    评论

    相关推荐

    Google DeepMind发布Genie 2:打造交互式3D虚拟世界

    在OpenAI宣布即将发布新模型和新功能后,Google DeepMind也不甘落后,于近日推出了大型基础世界模型——Genie 2。这款模型能够生成各种可控制动作、可玩的3D环境,为用户带来全新
    的头像 发表于 12-05 14:16 427次阅读

    发掘3D文件格式的无限潜力:打造沉浸式虚拟世界

    在当今数字化时代,3D技术的应用范围日益广泛,涵盖电影后期制作、产品原型设计、虚拟现实(VR)、增强现实(AR)、游戏等众多领域。而3D文件格式作为3D技术的核心组成部分,对于实现
    的头像 发表于 09-26 18:14 1523次阅读
    发掘<b class='flag-5'>3D</b>文件格式的无限潜力:打造沉浸式<b class='flag-5'>虚拟</b><b class='flag-5'>世界</b>

    使用NVIDIA Edify助力的服务创建3D资产和虚拟环境照明

    使用 NVIDIA Edify 助力的服务创建 3D 资产和虚拟环境照明,或是减半生成图像时间。
    的头像 发表于 08-02 15:22 505次阅读

    裸眼3D笔记本电脑——先进的光场裸眼3D技术

    随着科技的不断进步,裸眼3D技术已经不再是科幻电影中的幻想。如今,英伦科技裸眼3D笔记本电脑将这一前沿科技带到了我们的日常生活中。无论你是专业的3D模型设计师,还是希望在视频播放和模型展示中体验逼真
    的头像 发表于 07-16 10:04 521次阅读

    奥比中光3D相机打造高质量、低成本的3D动作捕捉与3D动画内容生成方案

      在过去几十年里,动作捕捉(MoCap)技术经历了显著的发展,广泛被应用于电影、游戏、虚拟现实、医疗等多个领域。近期,奥比中光合作客户Moverse使用Orbbec Femto系列3D相机,打造出
    的头像 发表于 06-25 16:37 1071次阅读

    3D建模的重要内容和应用

    3D建模是一种技术,通过计算机软件创建虚拟三维模型,模拟现实世界中的物体或场景。这项技术广泛应用于建筑设计、电影制作、游戏开发、工程仿真等领域。下面古河云科技将介绍一些与3D建模相关的
    的头像 发表于 06-21 14:48 627次阅读

    VIVERSE 推行实时3D渲染: 探索Polygon Streaming技术力量与应用

    Streaming 3D 串流技术。 Polygon Streaming 3D 串流技术,支持高保真3D模型分享与协作,跨平台兼容,可以提升虚拟
    的头像 发表于 05-31 15:49 2337次阅读
    VIVERSE 推行实时<b class='flag-5'>3D</b>渲染: 探索Polygon Streaming技术力量与应用

    英伦科技的15.6寸2D-3D可切换光场裸眼3D显示屏有哪些特点?

    随着科技的快速发展,人类对于视觉体验的追求也在不断攀升。从平面的2D图像到立体的3D影像,我们一直在探索如何让虚拟世界更加逼真。如今,英伦科技凭借其创新实力,推出了一款革命性的显示设备
    的头像 发表于 05-28 11:17 360次阅读
    英伦科技的15.6寸2<b class='flag-5'>D-3D</b>可切换光场裸眼<b class='flag-5'>3D</b>显示屏有哪些特点?

    3D建模的特点和优势都有哪些?

    的应用。 特点: 1.三维模型化:3D建模允许用户在虚拟空间内创建具有长度、宽度和高度的物体,从而形成真实感十足的三维模型。 2.精确性:通过3D建模软件,用户可以精确地控制对象的尺寸、形状和位置,确保设计的准确性。
    的头像 发表于 05-13 16:41 2412次阅读

    VR虚拟空间中的3D 技术

    随着科技的飞速发展,虚拟空间已成为元宇宙的重要呈现方式。从游戏到工业设计,从电子商务到文旅体验,3D相关技术在虚拟空间中发挥着举足轻重的作用,决定着用户们能否真正能体会到VR的沉浸式体验。
    的头像 发表于 04-29 09:36 1539次阅读
    VR<b class='flag-5'>虚拟</b>空间中的<b class='flag-5'>3D</b> 技术

    Adobe Substance 3D整合AI功能:基于文本生成纹理、背景

    Substance 3D Stager是以Adobe Dimension为基础改造而成,使用者可直观地进行3D场景构建,包括模型、材质和灯光等要素。借助其强大功能,能够生成极具观赏性的虚拟照片。
    的头像 发表于 03-20 10:28 721次阅读

    3D动画原理:电阻

    电阻3D
    深圳崧皓电子
    发布于 :2024年03月19日 06:49:19

    中国科研团队突破全息3D显示技术

    全息显示技术为真正的3D显示提供了终极解决方案,在增强现实和虚拟现实方面具有巨大的潜力。然而,全息3D显示的颜色和视角主要取决于激光的波长和当前空间光调制器的像素尺寸。
    发表于 01-26 12:45 718次阅读
    中国科研团队突破全息<b class='flag-5'>3D</b>显示技术

    友思特C系列3D相机:实时3D点云图像

    3D相机
    虹科光电
    发布于 :2024年01月10日 17:39:25

    VR与AR和裸眼3D这三者有哪些区别?

    VR与AR和裸眼3D这三者有哪些区别? VR(虚拟现实)、AR(增强现实)和裸眼3D(无眼镜3D)是现代科技领域的三个重要概念。虽然它们都与现实世界
    的头像 发表于 01-09 14:20 4669次阅读