让你 30 块就能看王菲演唱会的 VR 直播,究竟是怎样拍出来的?
12 月 30 日,话题性空前的王菲“幻乐一场”演唱会在上海举办,不少王菲歌迷花费成千上万在上海梅赛德斯奔驰文化中心现场聆听天后的歌声。同时,将近有 9 万名观众通过微鲸 VR 以另一种具有临场感的方式观看了这场演唱会。
2 月 12 日,在魔兽争霸 3 怀旧战场总决赛上,韩国选手 Focus 在决赛上完成了一穿三的壮举(采用 KOF 赛制),战胜了 Grubby 和 WFZ 在内的魔兽名将,帮助 TH000 战队获得冠军。同样的,这次想要观战也不用去冰天雪地的哈尔滨,在包括微鲸 VR 在内的各种渠道也都可以观看直播。
(魔兽争霸 3 怀旧战场总决赛现场)
在前往哈尔滨决赛现场的路上,同行的记者和微鲸 VR 工作人员一直在讨论东北这片土地上的特色,结果讨论得最多的还是“快手”这个直播应用,经过最近一两年的高速发展,这个被认为和三四线城市以及乡镇,还有东北风情紧密关联的直播应用如今被盛传将在美国上市。
在讨论这个真实不做作,并且具有临场感的应用的同时,我们也注意到,VR 直播正在慢慢发展。而微鲸 VR、数字王国以及腾讯视频三方合作的王菲演唱会直播可以算作是标志性事件。通过天后的影响力,更多的人知道了 VR 直播这种直播形式,其次单场直播 8.8 万名观众相比于动辄百万的明星直播不是个大数字,但相较于 VR 的受众,这个数字已经算优秀了,并且这场演唱会 VR 直播观看还需要付费 30 元。
昨日完赛的魔兽争霸 3 怀旧战场总决赛可以看作是 VR 直播中的一个典型场景,也得益于这次比赛,爱范儿(微信号:ifanr)和微鲸 VR 的技术副总裁仝晓亮以及微鲸 VR CEO 马凯聊了下 VR 直播。
(王菲幻乐一场演唱会 VR 直播画面)
VR 直播用什么拍?
相比于手机直播,VR 摄录的设备门槛就高出不少了,最民用仅售一千多元的 insta360 Nano,到售价 2 万元的 insta360 Pro,到 GoPro 推出的 16 组相机设备 Odyssey (售价 1.5 万美元)以及 6 组相机设备 Omni 360(售价 5000 美元),再到售价 6 万美元的诺基亚 Ozo,最贵的则是售价 7.5 万美元的 Jaunt One Camera。也有团队在使用红龙电影摄像机拍摄 VR 视频。可以说,目前想要获得不错的 VR 拍摄效果,没有几万块的设备是办不到的。
(Jaunt One Camera,售价 7.5 万美元。图片来自:venturebeat)
在微鲸 VR 内部,他们前前后后大概总共研究了 30 多种 VR 相机的方案,团队自己也改装和二次开发过不少的 VR 相机,目前常用的 VR 拍摄设备大概是四五种,会根据节目的要求以及节目的制作周期、成本,选择符合要求的设备。
(GoPro Omni 360,售价 5000 美元。图片来自:cnet )
对于专业团队来说,GoPro VR 相机是基础级别的设备,Jaunt One Camera 则是最高端的设备。
(insta360 Nano)
不过由于目前 VR 才刚刚起步,VR 直播设备更是屈指可数,比如上面提到的 Jaunt One Camera 就不支持直播,所以有些团队就会对现有设备进行“魔改”,比如微鲸 VR 内部用得最多的就是索尼的 A7s 微单相机。作为一款全画幅相机,A7s 1220 万像素的参数实在不太够看,但 A7s 有高感好,单个像素尺寸面积大的特点,所以它更适合夜拍和摄像。因此,在 A7s 的基础上,微鲸 VR 团队发挥动手能力,将四台 A7s 相机组合在一起,改进支架和供电系统,就成了全新的 VR 直播摄像机。
(四台 A7s 组成的 VR 相机)
其实 GoPro 的 Odyssey 和 Omni 360 也是把 GoPro Hero 4 组合在一起做成的组件,主要改进也是支架,供电和操作,硬件基础都是一样的。没有供电系统的 A7s 视频摄制续航可以说是 EVA 初号机级别,在重新设计供电系统之后,它们就可以全天候工作了。
面对 GoPro VR 摄像机组件的时候,需要改进的就不只是供电系统了,还有散热系统,不然的话,GoPro 们就很容易宕机。
这一次的魔兽争霸 3 怀旧战场总决赛,微鲸就是用的三组 A7s 微单相机组件拍摄,每组由四台 A7s 相机组成。A7s 组件适合 VR 直播的优势在于,相比于 Jaunt One Camera 4K×8K 的分辨率,A7s 组件能够直播输出,而相比于只能 1080P 直播输出的定制红龙电影摄像机,A7s 组件又能直播输出 4K 视频,分辨率高很多。
(HTC 前 CEO ,现数字王国主席周永明和数字中国大中华区主席谢霆锋)
上一次王菲演唱会中,数字王国作为内容的摄制方使用的则是自己研发的 Zeus VR 相机,以及最新研发的 VR 直播摄像机 Kronos。
视频拍了之后呢?
根据不同的场景选用不同的设备进行拍摄之后,视频素材可不是直接能用的,VR 视频需要将各个镜头摄制到的视频进行再加工,才能输出为 VR 视频直播。一般来说,算上网络延迟和处理时间,VR 直播的延时会在半分钟左右。
如果说前面拍摄的决定性因素是硬件设备的话,那么这一环节的决定性因素就是软件和计算能力了。如果用家用顶配 PC 去处理 Jaunt One Camera 拍摄的视频的话,大概要 1 秒去处理一帧的画面,而前面提到的 A7s 组件拍摄的 VR 直播视频大概是 4K 30fps,所以指望家用机和开源的 OBS 软件去处理专业 VR 视频是不现实的。
Jaunt One Camera 用的云端服务处理 VR 视频是基于光流的算法。基于光流算法的优点,就是能够很好地处理过缝的这种情况。但是这套云服务和算法并不适用与 VR 直播,需要部署很高成本的云服务去支撑实时处理。
在微鲸 VR 这边,就需要部署专门的服务器和自己研发的软件来进行视频图像处理。这个处理软件也会根据摄制设备的不同进行具体的适配。
仝晓亮说:
我们看到的 VR 视频,需要的一个是全像采集,第二个是拼接,这两个之间是有关联的。如果我的前端设计得好,拼接的数据就会很简单。如果适配不确定的情况下,软件要做得非常复杂。
这件事的核心其实就是软硬件结合,最终做出解决方案出来,二者关联程度很高。设备,机位,镜头,拍摄角度,以及拼接技术都会对最终的画面产生影响。
成本和问题
前面说到各种 VR 摄录设备的价格,专业级别拍摄最低也要上十万的设备才能有不错的效果。但是这仅仅是先期的准备。由于 VR 视频对分辨率要求非常高,4K 输出是基本需求,这就对带宽的要求非常高。
Jaunt One Camera 拍十分钟的视频产生的数据量就有 300GB,比方说录一期综艺节目,会用 10 个机位,用五个小时录制时间去计算的话,大概会产生 20T 的数据。这么大的数据量,将会产生非常大的上传下载和存储成本。
到直播这边产生的数据量没有 Jaunt One Camera 产生的大,不过因为实时直播的需求,需要经常拉专线来上传下载。上海北京一周 100M 的专线费用需要数万元。虽然每个城市和场馆不同,但基本上做一场 VR 直播的专线成本就要几万元,此外还有 CDN 供应商收取的流量费用。
(NextVR 提供的足球 VR 直播。图片来自:sfchronicle)
如果是足球比赛直播,需要的机位就更多,一般还需要更多的机位,魔兽争霸 3 比赛由于场馆不大,三个机位就能满足。而足球场则至少需要 8 到 10 个机位,再加上教练席和通过导轨能移动的位置,足球比赛需要部署 15 个机位才能有不错的效果。因为更多机位也会需要更多的现场工作人员,这将带来更多的人力成本。
从目前来看,做 VR 直播肯定不会是一门赚钱的生意,相比于普通的直播,VR 直播的设备成本,带宽和 CDN 成本,以及人力成本都只高不低。但由于 VR 才刚刚起步,不管是 C 端的设备,还是受众人群,都还不太成熟,市场空间还有限。
VR 直播作为新的直播形式,有些问题也不能回避。最大的问题当然是对于用户带宽的要求很高,微鲸 VR 背后资方毕竟有华人文化这样的巨头,可以每场直播都拉一条几万元的专线。但是用户家里的网络就不一样了,2016 年第四季度《中国宽带速率状况报告》显示,国内固定宽带网络平均下载速率达 11.90mbps,不考虑数据是否真实,这个网速想要体验 4K 级别的 VR 视频直播基本是不可能的(虽然目前好一点的 VR 设备分辨率在 2K 级别)。如果不经过任何处理的话,VR 视频相同的清晰度是传统视频带宽的大概 5—6 倍,经过技术压缩可以减去一半,但还是很高。
VR 视频庞大的数据量和目前并不让人满意的带宽之间的矛盾还会产生很多问题,比如如果拍摄的是 4K 30fps 的话,那么这就意味着 VR 直播在体育赛场上不可能有慢动作回放了,30fps 的视频强行慢动作回放只能是卡如 PPT。
(SNH48 总决选 VR 直播画面)
前些年我们讨论 4K 电视的时候,也在谈片源和带宽的问题。现在我们讨论 VR 直播的时候,也会有这样的问题出现。
目前的 VR 直播品类还在起步,数量和频次都不算多。以微鲸 VR 为例,他们除了中超和国足的比赛,王菲演唱会,魔兽争霸 3 怀旧战场之外,微鲸 VR 做过的直播还有 SNH48 年度总决选、致青春演唱会、薛之谦演唱会、MTV 金曲大赏,昆仑决比赛、冰上盛典和锤子发布会等等,基本上以娱乐和体育居多。
也许再过几年,VR 直播的拍摄和观看门槛变得像今天快手直播这么低,每个人都能进行 VR 直播和观看,那么像是 MC 天佑的喊麦会不会更带感,快手上的各种新奇分享会不会更让北上广的网民更惊奇?
题图来自:gegugu