听觉是VR体验中不可或缺的一部分,真正沉浸式的体验除了视觉外也要让听觉符合场景的设定。为了帮助开发者更方便的创造自然的立体音效,HTC Vive推出了3DSP音频SDK。
3DSP是一款音频SDK,可以为应用程序提供具备空间音效的音频。影响人类对于音频空间化感知的因素有很多,比如声音传入两只耳朵的时间差,两耳之间的水平差异,人体耳廓、头部等部位的差异、环境因素(例如房间声音反射和混响)以及从声源发出声音到人耳接收到声音之间遇到的障碍物阻挡,都会影响人的听感。
为了让用户在VR中听到的声音尽可能的真实,就需要考虑到声音发出到被听到之间的种种因素,让VR中的声音尽可能接近真实空间中人们听到的声音,以增加从沉浸感。
高阶Ambisonics(高保真立体声)
传统的双声道立体声利用两个扬声器,通过人的双耳效应使声音达到空间立体的效果。
而随着技术的不断进步,在VR中我们常用一种音频技术Ambisonics,相当于让声源遍布球状的内表面,环绕用户的头部。
Ambisonics使用“球谐函数”描述声场,使声音从四面八方传来,带来更好的沉浸感。
不过迄今为止简易的基本型Ambisonic系统只能在一个中心位置创建一个精确的声场。随着听众远离中心并随着频率的增加,误差水平逐渐增加。
为了减少误差,可以采用增加球面的阶数来描述更加复杂的谐波。
HTC在对3DSP SDK的展示中便展示了3阶Ambisonics模型。
房间音频
当用户处在虚拟房间中时,就要考虑房间的复杂情况,对声音做出相应处理。
3DSP从早期反射、后期混响、背景噪声、环境材料等方面模拟房间音频,让用户获得更具空间感的声音。值得一提的是,3DSP同时保证了该技术在低计算量的情况下运行,减少设备的计算负担。
距离模型
空间中真实传播的声音会随着传播距离的增长而发生衰减,但是在不同的情况下衰减的变化是不同的。
在HTC Vive 3DSP SDK中,提供了几种情况下声音的衰减模型,采用基于现实建模的距离模型。
阻塞效应
当声音从声源发出遇到障碍物再被用户听到的时候,会因为障碍物的阻挡而发生改变。
分析物体的几何特点来计算遮挡物对声音的遮挡能力。
为了计算障碍物的遮挡能力,是通过在空间中投射大量射线,并列举有多少被障碍物遮挡。
无需使用Unity对撞机,根据不同障碍物的具体面积以及形状计算得到声源经过障碍物后被听众听到的实际情况。
其他特性
除了上述的几点外,HTC Vive 3DSP SDK还具备以下特性
·基于对真实世界精确建模(包括水平和垂直方向)的头相关变换函数(HRTF),可以得到适用于所有声音的滤波器进而还原空间音频。
·原声和回放均采用高分辨率音频。
-
音频
+关注
关注
29文章
2839浏览量
81384 -
SDK
+关注
关注
3文章
1029浏览量
45788 -
vr
+关注
关注
34文章
9634浏览量
150084
原文标题:HTC Vive发布空间音频SDK,带来身临其境的听感
文章出处:【微信号:ARchan_TT,微信公众号:AR酱】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论