0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

VR需要身临其境,也要“声”临其境,如何让VR真正做到“声”临其境?

fFU3_vrtuoluo 来源:lq 2019-01-28 10:28 次阅读

要让人完全忘记现实沉浸在VR内容中,画质和音效二者缺一不可。从刷新率到头部追踪延迟,从视场角到分辨率,VR画面的精细程度和观看时的舒适度不断被新技术拔高。但在视觉上感觉身临其境还远远不够,即使VR内容画面逼真到以假乱真的地步,如果搭配的音效不给力,也无法避免会产生出戏的感觉,因此VR还必须“声”临其境。

不同于传统音频(声源有固定焦点),VR音频必须实时配合实际画面的环境变化,配合720°全景VR,有精确的方向感和距离感,做到与现实中人们听到声音后的反应无异,才能真正让用户保持极高程度的沉浸感。在本次CES2019中,世界顶级声学研究公司Dirac Research AB 就带着其沉浸感极强的Dirac 3D Audio技术亮相展示。

陀螺君在现场体验了Dirac全景声,并采访了Dirac的事业部总经理Lars Isaksson,向其详细了解了Dirac 3D音频技术的相关情况。

“全景声”是什么?

相比于VR的视觉领域,大家对于VR音频的了解知之甚少。在此,陀螺先为大家简单科普一下常说的立体5.1声道、7.1声道和全景声的定义,以方便大家对后续采访内容的理解。

要弄清这个问题,我们先来回顾音频技术的发展轨迹:从单声道、立体声、5.1、7.1一直到22.2,我们一直在靠增加音箱数量来将声场还原得更逼真。一套音响设备会因声道不同而呈现出不同的音响效果,目前主流音响市场上有5.1声道和7.1声道两种:

5.1声道:在环绕声的基础上,将环绕声道一分为二,分为左环绕和右环绕。银幕前方还有左声道、右声道,再加上中央声道和0.1声道的重低音声道,由此得名5.1声道,如下图所示:

7.1声道:在5.1声道的基础上,将环绕声道一分为四,有了左侧环绕(蓝色)、右侧环绕(粉色)、左后环绕(黄色)和右后环绕(绿色),比5.1多了2个声道,由此得名7.1声道,如下图所示:

尽管由5.1声道和7.1声道呈现出的音响效果与之前三个音箱的立体声相比已经有了质的飞跃,但前后左右声场不足以还原方位感和空间感,于是“全景声”概念应运而生——即让声音全方位环绕听众,让听众听到声音后做出与现实无异的反应。例如,当影片画面中有飞机飞过头顶,就应该感觉到头顶有飞机飞过的声音;当有人在后方说话,就应该感觉到声音是从后方传来。

在影院中一般通过在天花板添加扬声器的方式实现全景声,达到全包围的声场。在现实中,无论是5.1还是7.1声道,都是通过增加音箱来加强声音的立体感,是基于人体处于固定的位置、有特定朝向的前提下实现的。在现实的三维空间中,当我们的头部发生转动或位移,声源本身的绝对位置不会改变,而声源与头部相对方向会产生变化。在VR中,720°的画面是实时变化的,用户的姿势和朝向随时都可能变化,想要保持不出戏,声音也必须和环境保持同步变化。因此,要在VR中实现全景声并不容易。

简单了解了全景声之后,陀螺君来说说现场体验Dirac全景声的感受。

在本次CES2019中,Dirac 搭配了三星Gear VR头显和电竞游戏耳机TRITTON Kunai Pro两种形式来展示其在耳机中实现的3D全景声。陀螺君在现场亲耳体验了一把“声”临其境的感觉。

(左:三星Gear VR 右:TRITTON Kunai Pro耳机)

陀螺君现场试戴的耳机对5.1.2声场的模拟,跟前文提到的5.1不同,2是指有两个扬声器是放在头顶位置的,这也是头顶声音方位感的来源。戴上VR头显后,当切换到全景声的时候,可以很明显地感知到声音的方位和距离,即使转动方向,声源的位置也不会有变化。陀螺君还了解到要通过Dirac技术实现耳机中的全景声,可以在不同的设备上植入Dirac的算法,比如耳机、电脑、头显等。

据Isaksson介绍,Dirac全景声的实现依托的是其正在申请专利的动态HRTFs技术。

Dirac用动态HRTFs技术合成模拟了5.1或7.1的声场效果,并对搭配使用的耳机进行了优化。Dirac在耳机头顶位置添加了两个扬声器,创造出了头顶环绕感,精确定位头顶声音的位置,能够实现一些非常复杂精细的效果。这样一来,戴上耳机后,会感觉到声音不仅从左右传来,还可能精确地辨别出声音是左后、右后等位置发出,也能感受到天空中的音源。而实际上,Dirac的这个技术并非是基于声道的,而是360度,也就是说,可以让声音在3D空间中任何一个点上发出。

声学领域沉淀半个世纪,

Dirac为何要切入全景声

全景声本身并不是新奇的概念,令人称奇的是如何做到Dirac这样音质无损的同时还能精准定位。Dirac这个VR音频领域中的新玩家凭什么做到这一点呢?

其实,Dirac看起来是个VR青铜玩家,其实人家早已经是“王者”级别了。

Dirac Research AB公司成立于2001年,由瑞典乌普萨拉大学(Uppsala University)的几位教授和博士生共同创立,两年前成立VR/AR部门。但在早创立之前,几位教授们就已经在声学领域潜心耕耘了几十年,奠定了Dirac深入骨髓的声学基因。Dirac公司创立之后,凭借着丰富的研究经验和前沿的技术,在音频市场上早已有口皆碑。音质、优化和声场模拟是Dirac三大研究领域,其声学技术处于世界领先地位。

Isaksson介绍了在公司创立之初,Dirac从事于Hi-Fi(High-Fidelity,高保真)与高端汽车结合的业务,与多家汽车业巨头合作,如沃尔沃、宾利、宝马、比亚迪、劳斯莱斯等,为Dirac在移动类设备中的音频优化技术打下了夯实的基础,累积了丰富的经验。

Isaksson提及Dirac3D Audio技术所使用的3D空间引擎,正是脱胎于Dirac一直专注的汽车声场合成和优化技术:

“在汽车里面听声音是车厢的感觉,但用户想要的是如影剧院一般的效果,这通过声场处理和声场模拟就可以实现。在耳机中实现不同声场所使用的技术,其实源于Dirac在汽车领域所使用的声场合成和模拟技术。沃尔沃XC90系列采用就是Dirac声音优化技术DiracUnison,一键让你穿越到哥德堡音乐厅(瑞典国家交响乐团演出主场),能听到效果如同真正置身于歌剧院一样。”

Dirac全景声之所以能实现,动态HRTFs技术是其中的大“功臣”。动态HRTFs突破了传统VR音频的制作方式,具有诸多优点。

前文已经提到,VR音频行业目前的主流技术是静态HRTFs(头相关传输函数)技术。这种传统方法假定,当移动身体时,头和四肢是同时转动的。可是,在现实中,头和四肢的动作往往并不是同时进行、同一方向的,单独的头部微小动作可以帮助我们更好地定位声音。传统的静态HRTFs技术除了建模与现实相违和之外,HRTF数据的采集耗时耗力的同时也无法保证高精度

首先,Dirac的动态HRTFs弥补了传统静态HRTFs的建模缺陷,将头部相对于四肢的细微动作和具体位置都考虑进去,提升了VR音频的定位和音质。其次,Dirac VR采用更先进和精确的HRTF测试收集方式,通过样本采集,生成一个通用的高精度HRTFs模型。在这样的双重作用下,声音定位精确还原,确保了声音还原误差极小,让声音真正实现3D沉浸感的同时,还不会造成声音失真。

可以说Dirac逼真的全景声=熟练的声场模拟技术+先进的动态HRTFs技术+经验丰富的耳机优化技术,这也是Dirac全景声与其他VR音频公司产品的不同之处。

Dirac全景声在VR/AR中的场景应用

已经在声学领域达到“王者”级别Dirac开启了 VR/AR领域的副本,有着几十年的声学研究和技术沉淀,陀螺君认为Dirac的全景声能够与VR/AR内容完美融合。Isaksson就在采访中提出了Dirac目前看好的几个应用场景:

1、全沉浸式的VR/AR游戏全景声

目前,Dirac已经和游戏引擎公司达成合作,游戏开发人员可以直接在游戏引擎中进行后期编辑,在游戏中添加全景声效果。有了全景声,能够清楚听到后方敌方的脚步声,能够感受到头顶飞机略过的声音,能够根据声音推断出敌方的远近。还能因墙体的材质不同而编辑不同音效,从而让玩家产生自己的确身处这一空间的错觉。

2、VR影视

全景声一开始便服务于影院,Dirac全景声与VR影视的结合可谓理所当然。与传统电影不同,VR影视有着独特的观影视角,有时候观众以第一人称代入影片之中,观众本人仿佛“附身”在主角上,跟随主角一起行走、跑动、说话,整个画面为观众营造出一种“我就是主角,主角就是我”的错觉。但如果此时的音效没有空间感和方位感,那么即使观众在画面层次上非常入戏,没有全景声的加持,观众的沉浸感也无法持久。

3、远程会议

Isaksson还特意提及了另一大应用领域:实时远程会议。随着分工全球化,如今的跨国公司越来越多,身处各地的同事们如果要开个工作会议,进行线下会面耗时耗力,成本高昂。而目前的虚拟远程会议在画面上能做到实时呈现,但彼此的声音却并不能达到逼真的效果,导致远程会议效果不佳。此时如果全景声技术能与AR技术相结合,应用在虚拟远程会议中,会议的效果应该会非常不同。

对于在VR/AR中实现全景声的成本问题,Isaksson说:“Dirac一般会直接和硬件厂商合作,用户不会通过应用的方式来下载,所以用户的使用成本不会太高。”

Dirac作为世界顶级声学研究公司,在声学研究方面的能力不容置喙。眼看着VR视觉领域的一路高歌猛进,陀螺君也非常期待VR音频的突破和创新。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 音频技术
    +关注

    关注

    1

    文章

    138

    浏览量

    24636
  • vr
    vr
    +关注

    关注

    34

    文章

    9633

    浏览量

    150036
  • VR头显
    +关注

    关注

    1

    文章

    259

    浏览量

    26612

原文标题:【专访】瑞典顶级声学公司Dirac:如何让VR真正做到“声”临其境?

文章出处:【微信号:vrtuoluo,微信公众号:VR陀螺】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    身临其境的沉浸式裸眼3D球幕影院开启360度观影体验的视觉盛宴

    和音响效果都非常先进,可以为观众带来身临其境的电影观影体验,震撼力远超巨幕影院,开启一场前所未有的视觉盛宴。
    的头像 发表于 11-13 17:49 160次阅读
    <b class='flag-5'>身临其境</b>的沉浸式裸眼3D球幕影院开启360度观影体验的视觉盛宴

    红魔电竞平板将于9月5日发布,搭载四道超线性扬声器

    备受瞩目的红魔电竞平板定于9月5日震撼发布,官方最新预告揭开了这款性能怪兽的神秘面纱,特别是音频系统的革新,令人眼前一亮。红魔电竞平板搭载了创新的四道超线性扬声器设计,承诺带来前所未有的音频盛宴——“超越立体
    的头像 发表于 09-02 17:18 623次阅读

    环绕系统的基本概念、主要类型及关键技术

    ,通过模拟真实环境中的声音传播,为用户带来身临其境的听觉体验。 发展历程:环绕系统起源于20世纪50年代的电影院,随着技术的发展,逐渐应用于家庭影院、音乐厅、体育场馆等多个领域。 主要类型:环绕系统主要分为立体
    的头像 发表于 08-23 10:57 524次阅读

    vr和投影仪的区别是什么

    定义: 虚拟现实(VR):虚拟现实是一种通过计算机生成的模拟环境,用户沉浸其中,体验到仿佛身临其境的感觉。 投影仪:投影仪是一种将图像或视频投射到大屏幕上的设备,通常用于商业演示、教育、家庭影院等
    的头像 发表于 07-08 10:40 1192次阅读

    VR眼镜和VR一体机的区别

    随着虚拟现实技术的飞速发展,VR设备逐渐成为人们关注的焦点。 一、引言 虚拟现实(Virtual Reality,简称VR)技术是一种通过计算机生成的三维环境,用户沉浸其中,实现身临其境
    的头像 发表于 07-08 10:38 1455次阅读

    逐点半导体助力iQOO Z9 Turbo带来身临其境的游戏和视频体验

    差异化帧率调校与多样化游戏滤镜,带来更具性价比的旗舰级视觉享受 专业的视觉处理方案提供商逐点半导体宣布,于4月24日发布的iQOO Z9 Turbo智能手机搭载逐点半导体X5 Turbo视觉处理器,通过提供差异化的帧率优化方案和多样化的游戏滤镜,为用户带来画质出彩、高帧畅爽的游戏体验。此外,该手机还为多款人气视频APP适配了丝滑的高帧画质,用户无论是玩游戏还是看视频,都能将沉浸感一键拉满。 iQOO Z9 Turbo搭载高通科技公司第三代骁龙®8s移动平台,
    的头像 发表于 04-25 15:02 359次阅读

    逐点半导体助力iQOO Z9 Turbo带来身临其境的游戏和视频体验

    差异化帧率调校与多样化游戏滤镜,带来更具性价比的旗舰级视觉享受 上海2024年4月24日 /美通社/ -- 专业的图像和显示处理方案提供商逐点半导体宣布,新发布的iQOO Z9 Turbo智能手机搭载逐点半导体X5 Turbo视觉处理器,通过提供差异化的帧率优化方案和多样化的游戏滤镜,为用户带来画质出彩、高帧畅爽的游戏体验。此外,该手机还为多款人气视频APP适配了丝滑的高帧画质,用户无论是玩游戏还是看视频,都能将沉浸感一键拉满。 Pixelworks_Logo_V1 iQOO Z9 Tu
    的头像 发表于 04-24 23:37 440次阅读
    逐点半导体助力iQOO Z9 Turbo带来<b class='flag-5'>身临其境</b>的游戏和视频体验

    隧道桥梁施工VR安全体验馆

    虚拟体验的方式将安全培训的内容进行场景化体验,每一个接受培训的人在戴上VR眼镜后,整个工程形象逼真的展示在眼前,仿佛身临其境、触手可及,体验者可以在虚拟的建筑工
    的头像 发表于 03-29 11:39 1031次阅读
    隧道桥梁施工<b class='flag-5'>VR</b>安全体验馆

    单芯片3路CC管理VR转接器解决方案

    )在其作品《美丽新世界》对进行了描绘。而后在斯坦利·G·温鲍姆(Stanley G. Weinbaum)所著的《皮格马利翁的眼镜》中,第一次提出了VR眼镜的概念——一款戴上之后能够身临其境的眼镜。可以说,
    的头像 发表于 01-22 00:05 503次阅读
    单芯片3路CC管理<b class='flag-5'>VR</b>转接器解决方案

    延锋发布CYMATICX™流座舱持续深化与ADI的战略合作

    在上周刚刚结束的CES 2024上,延锋发布创新声流座舱CYMATICX™,突破内饰空间的物理产品,带来身临其境的座舱音频体验。
    的头像 发表于 01-15 10:15 706次阅读

    单芯片3路CC管理VR转接器解决方案-LDR6020

    )在其作品《美丽新世界》对进行了描绘。而后在斯坦利·G·温鲍姆(Stanley G. Weinbaum)所著的《皮格马利翁的眼镜》中,第一次提出了VR眼镜的概念——一款戴上之后能够身临其境的眼镜。可以说,
    的头像 发表于 01-02 09:27 2045次阅读
    单芯片3路CC管理<b class='flag-5'>VR</b>转接器解决方案-LDR6020

    蔡司工业CT机在VR头显“Pancake”的作用

    ,提供身临其境的感受,同时也可以提供虚拟游戏和娱乐等多种功能。随着VR设备进一步普及,消费者对轻薄度、成像质量、佩戴体验提出了更高的要求。其中,轻薄化是VR头显发
    的头像 发表于 12-29 09:53 411次阅读
    蔡司工业CT机在<b class='flag-5'>VR</b>头显“Pancake”的作用

    探索VR技术如何重塑多个行业

    可以 身临其境般 地感受到 游戏和电影 中的场景 ,无论是探索神秘的外星世界,还是站在足球场的中心,都让我们仿佛真的置身其中。这种沉浸式的体验,让我们的娱乐活动更加丰富多彩。 其次, VR技术也正在改变我们的学习方式。在教育领域,V
    的头像 发表于 12-18 14:41 1435次阅读

    LDR6020 VR串流线方案:实现同时充电传输视频信号

    ,将用户带入一个虚拟的三维环境中,感受到身临其境的视觉和听觉体验。那么VR中的视频信号和音频信号是如何进行传输的呢,今天我们华光昱能Hangalaxy就来详细讲解VR串流中的有线串流。 VR
    的头像 发表于 11-27 09:24 600次阅读
    LDR6020 <b class='flag-5'>VR</b>串流线方案:实现同时充电传输视频信号

    VR串流线方案/VR转接器方案实现同时充电传输视频

    ,将用户带入一个虚拟的三维环境中,感受到身临其境的视觉和听觉体验。那么VR中的视频信号和音频信号是如何进行传输的呢,今天我们华光昱能Hangalaxy就来详细讲解VR串流中的有线串流。
    的头像 发表于 11-24 16:04 773次阅读
    <b class='flag-5'>VR</b>串流线方案/<b class='flag-5'>VR</b>转接器方案实现同时充电传输视频