下载客户端
下载客户端
关于我们 寻求报道 加入我们
新创 2016-11-25 15:01

英伟达林耀南:如何用 5 大技术让 VR 产品告别体验差?

编者按:本文转载自转载自微信公众号 VR 价值论(vr-value),转载时已获得作者授权。

如果你是一位刚入行的 CP,对于显卡优化的基本概念还不清楚;如果你在从事硬件开发,想系统了解如何优化 VR 体验;那么这篇文章,值得收藏、细读。

本文您将了解到:

  1.  影响 VR 产品体验的原因是什么?
  2. 如何提升 VR 产品体验?

VR 产品层出不穷,但用户的体验却一直没有达到最佳状态。画面真实度差和延迟造成的眩晕感是影响 VR 产品体验的两大重要原因。

既然从软件到硬件都急需进行优化,那么究竟产品的优化应该如何进行?这其中又有哪些方式?

本期来自英伟达亚太 GPU 产品总监林耀南在 VRWDC 世界虚拟现实开发者论坛的分享:如何用 5 大技术提升 VR 产品的体验?

在分享之前,我想先提一个问题:在你交男 / 女朋友的时候,第一次约会是否重要呢?

我相信在座大部分的朋友都会回答:重要。第一次约会对于双方而言,都是一个很重要的体验。一旦这次的体验出了问题,你就不再有和对方继续发展下去的欲望了。

powerup-and-vr

图片来源:Wired

回到我的主题,我想表达的是,对于虚拟现实产业而言,用户的体验也十分重要。

而 VR 产业现在恰恰面临着一种情况——在硬件设备并不普及的情况下,大多数用户通过一些并不舒适的或简易的设备来体验,这可是有点给 VR 产品的体验判了死刑。

明明有一些 VR 产品体验非常棒,但不少用户在第一次却经历了较差的体验,从此对 VR 产品不再感冒,岂不是很可惜?

到底是什么造成了用户比较差的 VR 体验呢?

1

造成用户体验差的原因是什么?

  • 画面真实度差

这主要取决于效能,效能是优质画面的基础力量。

通俗来讲,绝大多数的游戏玩家一般是以 1080p 与 30fps 来进行游戏,但 VR 的画质约为 2k,描绘必须接近 3k,且画面刷新率要高于 90fps 才会顺畅,代表执行 VR 游戏的 PC 效能必须达到传统 PC 的 7 倍。

但这很难,因此很容易造成画面失真,影响用户的体验。

  • 延迟造成眩晕感

玩家从当前位置改变到另一位置时的图像被 CPU 提交,GPU 渲染,同步刷新到头部显示设备上,如果每秒有 90 帧的画面,可是每一帧都比用户的移动慢一点,这中间的延迟超过 20ms 就会导致用户大脑因无力计算而发生错乱,临床表现就是头晕、头晕、头晕。

而这两点也大大降低了用户的 VR 产品体验。

所以我们不仅要解决效能的问题,还要解决延迟的问题,“天下武功,唯快不破”。那到底有哪些解决的方式呢?我们愿意把已经掌握了的功能分享给大家,共同解决 VR 产品体验差的问题。

2

如何改善 VR 产品体验?

一般来说,沉浸式 VR 体验(450MPixel/S)(价值菌注:MPixel/S 为每秒百万像素)对性能的要求是普通 PC 游戏 (60MPixel/S) 的 7 倍。

PC 游戏以 1080p 分辨率和 30FPS 刷新率为技术数据,而 VR 游戏的实际渲染分辨率为 1512×1680×2,刷新率需要达到 90FPS,才能带来良好的体验。

基于这样的痛点,我讲讲如何通过 5 种图形渲染方面的技术来解决这个问题,实现更好的体验。

gear-vr-review-8

图片来源:VRHeads

  • Multi-res shading 多分辨率着色

讲白了,我们在 VR 的世界里看到直的是直的,横的是横的,这是因为有一个光学透镜,通过光学透镜可以看到图片,所以我们必须做反扭曲(undistortion),来看到一个完美的世界。

但是做反扭曲,却不是很容易的,这会浪费很多其他项目。

我们所看到的画面在眼镜里其实没有完全成像,只成像了一半,大部分的地方都是黑的,这些都没有成像,那我为什么要画那么大?

我画了 150 份最后只显示 100 份,太浪费。

而 Multi-res shading 的基本原理是,将图形渲染与 VR 头盔的光学变形情况结合起来。

由于 VR 头盔贴近眼球,所以需要一组镜片帮助用户对焦。但因为镜片的存在,会导致画面发生畸变,所以需要对画面进行畸变补偿。

畸变补偿的画面所需信息,比 GPU 渲染出的画面要少很多(镜片光路损失一部分,同时人眼对视觉中心比边缘看得更清楚)。所以 GPU 本质上做了很多无用功。

Multi-res shading 要做的就是,把每一帧的画面分成多个部分,中间保留更多细节,而边缘保留较少细节。换个角度就是压缩画面,从而提升渲染速度。

所以当我们把游戏切成 9 个部分,根据 9 个部分,中间形变最少采取 100% 的分辨率,剩下的开发商可以自己填,填完之后在没有减少视觉的差异下,还是 100%,不会浪费。

  • Front Buffer Rendering 前缓冲渲染

我刚刚讲,天下武功为快不破,这里就要通过直接对前缓冲渲染来减少延迟。

前缓冲渲染技术原理跟直接模式相关。

简单来讲,如果电脑把 VR 头盔当做普通显示器的话,就需要通过标准的两级缓冲模式进行渲染。而识别成 VR 头盔的话,就可以越过 Back Buffer 直接进入 Front Buffer,从而减少延迟。

facebook

图片来源:Virtalis

  • Context Priority 上下文优先级

Context Priority 可控制 GPU 调度以支持各种先进的 VR 功能,像是异步时间扭曲。

稍微解释一下什么是异步时间扭曲。

它是指在一个线程(称为 ATW 线程)中进行处理,这个线程和渲染线程并行运行。在每次同步之前,ATW 线程根据渲染线程的最后一帧生成一个新的帧。

可能不是很好理解,我用简单一点的语言来描述。

举个例子。

如果转头过快的话,新位置的画面还没渲染出来,或者出现的是前一个位置的画面,就会引起不适。

怎么解决这个问题呢?

技术专家想到一种方法,即人为插入一个根据位置计算出来的帧来占位。

GPU 需要一个独立的线程来做这件事,抢在下一帧出现之前占位,从而减少画面的延迟(或因为掉帧而引起的抖动)。

如此不仅能缩减延迟,当游戏玩家移动头部时还能快速调整显示影像,无须重新渲染画面。

  • VR SLI 多显卡支持

这需要用到 CPU,以确保两个眼睛看到同一点。这里就需要通过增加显卡来增强渲染性能。

人有双眼,所以 VR 图像都被渲染成左右两个画面。但是这两个画面是不一样的,这就额外增加了 CPU 和 GPU 的占用。

虽然,有些计算不需要算两遍,比如物理计算,阴影图,游戏逻辑等,但实际视角包含的画面肯定需要重新计算,以保证正确的时差和深度信息。

osvr-2-1200x0

图片来源:Digital Trends

所以说,在有些极端情况下,虚拟现实渲染模式下 GPU 用量是翻番了的。

在这种情况下,如果使用两块显卡,并行处理左右两个画面,就可以解决好了。

也就是说,一块显卡处理左眼的画面,另一块处理右眼的画面,最后整合在一起输出。

这个方法可以大大提升计算效率,却也不会增加延迟。举一个例子。

常规多显卡渲染即:

显卡 0 和显卡 1 轮流渲染第 n 帧和第 n1 帧,但是要求 CPU 提交得足够快,因为 CPU 要提交两份 DRAWCALL,CPU 不能成为瓶颈。

而经过改进之后:

让显卡 0 和显卡 1 分别负责绘制左右两眼,而 CPU 为两个显卡提供一模一样的 DRAWCALL,因为在 VR 的两眼绘制的东西基本是一样的,除了 PERSPECTIVE 矩阵不一样。

而 VRWORKS 通过其 API,实现了一组 DRAWCALL 对多个显卡的广播,可以为不同显卡设置不同的 PERSPECTIVE(常量)。这样 CPU 一份 DRAWCALL 对于两眼,而两眼的绘制在两个 CPU 并行,延迟大大节省。

vr-games

图片来源:Glass Apps Source

  • DIRECT MODE 直接模式

这个模式使得 GPU 与头戴式可视设备之间,能够具备良好的即插即用兼容性。

它能兼容各种虚拟现实头盔,即插即用。传统的渲染,PC 显示器会把 VR 眼镜作为显示器的一个显示扩展,VR 眼镜和 GPU 是没有直接交互的。

而透过 Direct Mode (直连模式),我们的绘图处理器驱动程式就有能力,把头戴装置辨识成一部 VR 显示器,而不仅仅是一个标准的桌面显示器,因此能提供更接近无缝的用户体验。

VR 体验的重点,是得匹配人类的四大感官才可以得到很大的体验。我也希望以上所提到的五种技术,可以帮助开发者真正提升 VR 产品的用户体验。

 

题图来源:Digital Trends

 

有好的产品或者项目希望我们报道,猛戳这里 寻求报道

文章评论(-)
后参与讨论
正在加载中

想用 E 卡口 135mm 长焦头?除了转接,你还能自己打印

2016-11-25 15:57下一篇

Google 即将与印尼政府达成和解,补交税款 7300 万美元

2016-11-25 11:50上一篇