有了 3D 音效，虚拟现实也能骗过大脑

当你戴着虚拟现实眼镜，以为自己在火星上行走的时候，耳边传来还像是老式电视机里放出来的声音就不妙了。

前不久，The Verge 记者 Mona Lalwani 来到了普林斯顿机械和航空工程教授 Edgar Choueiri 家中，体验了一番经过他自己优化的双立体声系统：声音栩栩如生。

“它能把你置于原始的声场，” Choueiri 说，“你可以听到鸟儿从你头上飞过，你会在一只耳朵里听到一声低鸣。 如果你录下一场乐队演出，你会听到从乐队成员从所在的确切位置发出的声音。”

他用 iPad 和一对音响播放了 Amber Rubarth 演唱的 Louis Armstrong 版 “A Kiss to Build a Dream On”。房间顿时变成了一个小型的 Live 现场。Lalwani 对此描述道：“我仿佛感到 Rubarth 在我正前方，乐队在两旁。右边有一位大提琴手拨动琴弦，在一些深情的段落后，左边的小提琴手引起了我的注意。我不自觉地转头去看那个方向。如果有那么几秒钟的话，我的大脑相信了这是真正的现场演出，而不是录音。”

双立体声的复兴

事实上，双立体声录音一直是最新的录音技术。但是直到需要沉浸式听觉体验的 Oculus Rift、索尼 Morpheus，三星 Gear 这些虚拟现实硬件出现时，双立体声录音才得到复兴。

双立体声录音十分特别。因为它了模仿人脑的工作方式。人体的解剖结构决定了我们如何理解听到的声音：两只耳朵被厚厚的头盖骨和海绵状的大脑隔开，因此左耳和右耳听到声音的时间是不同的。如果一只狗在左耳边吠，右耳还要花一些时间才能听到叫声；而且一只耳朵听到的声音比另一只耳朵更响。除此之外，声波和听者的物理构造发生互动，外耳、头部、躯干——以及周围的空间，由此制造出听者特有的效果，也称作头部相关传输函数（HRTF）。大脑仔细探测这些极小的时间和强度差异，从而将声音准确定位。

传统意义上，录音有两种方式：单声道和双声道。单声道录音用一个麦克风，双声道录音用的两个中间有间隔的麦克风。双立体声录音比双声道更进一步，将两个音腔放置在仿真头的两旁。因为仿真头再现了人头的密度和形状，这些麦克风可以完全和人脑一样捕捉和处理声音，能明确区分左耳和右耳听到的声音。概念很简单，但是当用高清麦克风录制、用高清耳机播放时，它逼真到可以骗过大脑。

3D 立体声和环绕音效不同。一个环绕声系统通常通过多个音响制造 360 度的声场。比如在看电影的时候，屏幕一侧发生爆炸，那么在相应的位置就会出现响声。

双立体声技术的核心可以追溯到 19 世纪的法国工程师 Clement Ader。1881 年，Ader 设计了 Theatrophone，一个转播巴黎歌剧演出的电话系统。一对对麦克风在舞台前从左到右间隔排开。演出的信号通过电话接收器传到另一端的听众耳朵里。听众只要有一对接收器，就可以听到整场演出。

1933 年，AT&T 的贝尔实验室将双立体声带到了芝加哥世界大会上。贝尔的声学研究部门制造了一个名叫奥斯卡的机械仿真人，把麦克风放在他双耳前的脸颊上。奥斯卡坐在玻璃屋里“听”声音，访客可以在外面用耳机听与他听到完全一样的声音。这项技术改进了 Ader 的发明，但音质还比较差。

在二战期间，这项技术的发展严重受阻。1973 年，德国著名麦克风公司 Neumann 发明了突破性的 KU-80，一个双立体声录音设备的原型。它由一个在两边鼓膜中各自置有麦克风的仿真头组成，对声音位置的捕获比之前的任何版本都要好。1992 年，经过三代产品更迭，有多向麦克风的 KU-100 能够专业地保存声音中的空间位置信息，并持续成为首选的双立体声录音设备。

听觉引导视觉

双立体声录音以前主要被专业人士使用。它在广播剧、实验声音艺术、Lou Reed， Thom Yorke，Imogen Heap 等音乐人的录音中都有应用。几乎在 Theatrophone 发明的一个世纪后，投资者重新审视了 3D 录音技术的潜力。索尼的 Morpheus 头套的开发者套件中就包含了可定制的双立体声录音方案。

“3D 音频增强了我们努力达到的虚拟现实效果。” 美国索尼计算机娱乐研发部门的高级主管 Richard Marks 说。“当声音和视觉刺激来源的方向高度一致的时候，虚拟现实体验的真实性就能极大地提升。纯粹的虚拟现实图像可以制造出来，加上 3D 音频可以最大化体验的深度和震撼力。”

3D 音频能提供比 3D 视觉效果更广的体验。“3D 音频不像视觉一样，并不仅限于眼前的视野，而且可以被渲染成 360 度全方位的体验。” Marks 说。“虚拟现实设计的一大挑战是用户会向任意方向看，无聊的时候甚至哪儿也不看。但是用 3D 音效作引子，可以引导用户的注意力转向声音发出的方向，技术上类似于现场戏剧演出。”

与 Kanye West、U2、Arcade Fire 合作过的视频导演 Chris Milk 曾经利用双立体声的沉浸式效果将演唱会在虚拟场馆中播放。去年，他拍摄了一个关于 Beck 音乐会的革命性的虚拟现实影片 “Hello, Agian”。为了配合 360 度的视觉体验，Milk 开发了一套制造 360 度声音的双立体声系统。

“如果我们想让你看向每一个方向，单向的声音源起不了作用，” 他说。“如果你向后看，你仍然只会听到前面发出的声音。所以我们需要能随着视觉移动的声音系统。”

他天才般地开发了一个有多个双立体声录音装置的仿真头，它有八只耳朵，四对麦克风，每 90 度一对。他还通过一个在必要的时候会处理声音以达到必要效果的软件增强音效。从一个虚拟现实头套观看的时候，耳机中的双立体声和 Beck 视频中虚拟的场景完全吻合。

Apollo 工作室的总指导 Jean-Pascal Beaudoin 强调了 3D 声音对虚拟现实体验的重要性。“如果一个声音明显来自你的左边，你转头 90 度去看那个方向之后，会期待声音位于你的正前方，”  Beaudoin 说，“如果不是如此，如果转头后声音还在你的左边，那么你已经脱离虚拟现实了，即使你可能还没意识到。”

Beaudoin 为受三星 Gear 委托的公司 Felix & Paul Studios 提供 3D 声音的制作，它为三星制作360 度全方位的直播视频。“我最感兴趣的是 3D 声音开启了讲故事、情感、互动的新可能。” Beaudoin 说。“我们对融合中的虚拟现实媒介的探索还很浅，但是在每一个项目中我们都能建立一种新的语法，获得新的进步。”

尽管很有潜力，但双立体声仍然没有在虚拟现实的内容中普及 。“声音在内容生产上有时候要慢半拍。”位于帕洛奥托 Jaunt 公司的首席声音工程师 Adam Somers 说。“无论是游戏还是电影，一开始大量的工作都放在视觉元素上，声音常常是后来思考的结果。但是将虚拟现实看作内容媒介的话，从一开始就内置双立体声录音非常重要，因为这样能让内容生产者充分利用声音效果（引导视觉）。” Jaunt 公司平台上所有的内容都具有双立体声。

回到曼哈顿，Choueiri 在思考另一个问题：因为技术的欺骗性，双立体声系统只被留作耳机使用。但是 Choueiri 想把它引入外放的音响系统，能让更多听众享用。但音响系统的问题是两只耳朵会混淆听觉信息，还会听到为另一只耳朵录制的信息。“这就像看 3D 电影而不戴眼镜一样。”

但是 Choueiri 发明了 BACCH SP，一个能让扬声器保留声音提示的过滤器，能制造出 3D 声音的幻觉。Jawbone 在过去两年中使用了普林斯顿大学的算法，为它的无线蓝牙音箱 Jambox 制造出 LiveAudio 过滤器，使它能创造出 3D 的听觉体验。尽管有效，这种体验仅限于一点——设备必须放在相对听者正中的位置，只要一移动就会破坏。Choueiri 说软件的一个版本，BACCH-dSP app 外加头部追踪功能，能实现真正的外放式的 3D 音效。

渐渐地，双立体声正在成为虚拟现实的关键环节之一。Oculus 在上个月的 CES 上揭幕的最新原型 Crescent Bay 通过 Rift 的头部追踪功能集成了双立体声技术，形成听觉和视觉完全沉浸式的体验。索尼的 Morpheus 还没有发布产品所有的细节，但他们对 3D 声音的强调是肯定的。

双立体声是虚拟现实环境下沉浸式体验的关键。如 Adam Somers 所说，“听觉能占到沉浸式体验的 50％。”

题图来自：PRX