揭秘手机 QQ 新功能:最新手势 AI 识别跟踪技术,支持画圈召唤 “任意门”

产品

如果我的面前出现了哆啦 A 梦的任意门,现在我最希望能到达的地方,是世界杯足球场。不是开玩笑,今天我发现用手机 QQ 就能做到。

世界杯之际,腾讯 QQ 推出了 “QQ-AR 穿越赛场” 活动,通过手机 QQ 扫一扫功能,能够穿越 “任意门” 到达足球赛场体验比赛乐趣。“QQ-AR 穿越赛场” 玩法是基于手机 QQ 和腾讯音视频实验室联合开发的 “手势 AI 识别跟踪” 技术实现,“任意门” 玩法和 “手势 AI 识别跟踪” 技术,在行业内还是首创。

我们上手试玩了一下,发现我们穿越进入球场后,不仅进了个球,还上了 “报纸头条”。

上手体验,AR 穿越到球场

体验 “QQ-AR 穿越赛场” 的关键是手指画圈手势。打开手机 QQ 的扫一扫功能并点击 “QQ-AR 穿越赛场”,按照提示在手机后摄像头进行手指画圈,即可召唤任意门。

任意门范围内能够隐约看到另一个虚拟世界。这时候,手持手机按照箭头指引往前走,就能从门外穿越到门内并体验门内的虚拟 3D 世界,穿越还原度还挺高的。

穿越过去是什么样呢?通过任意门进入虚拟世界后,这个世界是 360 度动态全景的效果,能够自由调整手机角度去观看,而且赛场上的大屏还会出现体验者的名字,很有代入感。

不仅如此,“QQ-AR 穿越赛场” 在穿越体验方面是自由的,并不是单向穿越。体验者完全可以在两个世界之间来回自由穿梭。任意门是双向连接两个世界,在虚拟世界也可以通过任意门回到现实世界。

在这里还发现了一个很赞的细节,并不是简单越过任意门所在平面就能穿越,必须是在任意门这个圈里,在圈外是穿越不了的。这一细节在现实世界穿越到虚拟世界的时候也同样存在,可以说,这个细节高度还原了科幻影视中对任意门的定义。

除了能够体验到穿越空间外,“QQ-AR 穿越赛场” 在虚拟世界还设置了足球比赛的场景互动能力。在虚拟世界中点击屏幕上的 “加入球赛” 即可加入足球比赛,通过互动最终帮助球队夺得胜利。

互动之后还能生成头版报纸,支持分享到社交圈,帮助球迷们过一把球星瘾。

AR 穿越体验背后,是创新的技术支撑

可以说,“QQ-AR 穿越赛场” 确实是一个独特又创新的 AR 应用体验,而这背后包含着多项技术的组合创新。

“QQ-AR 穿越赛场” 玩法是手机 QQ 和腾讯音视频实验室,对最新手势 AI 识别跟踪技术的应用。当用户手指在摄像头前挥动时,通过在终端运行级联神经网络计算,获取用户指尖的位置信息,得到指尖的运动轨迹,并记录和拟合判断是否画圈成功。

判断画圈成功后,再采用三维重建定位跟踪技术,将虚拟的魔法门增强显示到现实场景中,让用户可以稳定、准确地在真实世界和虚拟世界来回穿梭。

音视频实验室的手势 AI 识别跟踪技术,在模型设计与前馈计算两个层面对体验进行优化。模型层面,通过蒸馏、剪枝等多种方法优化网络模型,在最大限度保证高精度的前提下降低模型复杂度,在性能、准确率和误识别之间取得了一个较好的平衡;在前馈计算层面,通过在 CPU 指令级别优化终端前馈计算性能,最终结合模型,实现了具有良好精度,实时的性能表现以及最大程度设备兼容性的指尖运动轨迹追踪。

实现穿越能力后,在另一边的 360 度全景虚拟世界同样也包含技术亮点。区别于当前普遍使用的静态图片的全景展示,“QQ-AR 穿越赛场” 的虚拟世界采用全景视频技术,动态视觉配合实时音效,用户体验感会更加真实和沉浸。

除了技术创新之外,“QQ-AR 穿越赛场” 的创意也可圈可点。通过任意门的方式,用户能够体验到穿越时空亲临赛场的体验,在正在举办的世界杯期间,让很多球迷也能过把足球瘾。

其实 “QQ-AR 穿越赛场” 此次的推出也表现出了极大的商业延伸价值。实现了穿越足球赛场,那么意味着,穿越到其他地方也是能够实现的,比如商场、景点、学校等等。

腾讯 QQ 在 AR 上的野心

AR 是众多国际巨头都在竞争的技术和产品,基于 AR 技术的产品和解决方案频出,当前 AR 的发展正在 “提速”。

上个月,Google 在 Google I/O 2018 大会上宣布,对 ARCore 1.2 平台进行了全新的升级。在 6 月初的苹果开发者大会上,苹果推出了一个新的 AR 格式 “USDZ”,还展示了一个基于真实乐高积木建筑的 AR 游戏。

Facebook 早就斥资 20 亿收购虚拟现实平台 Oculus。扎克伯格曾畅想:“坐在场边的座位上享受观看比赛,坐在有来自世界各地的老师和学生的教室里学习,或者与医生面对面咨询,这只需要在你家里安装这样一台设备。”

扎克伯格的畅想实现了,但实现者并不是 Facebook,而是腾讯 QQ。

腾讯在手机 QQ 上,率先为用户提供一个 AR 应用的创新场景,让用户可以快速便捷地接触和体验 AR 的功能及乐趣。这意味着,腾讯 QQ 在 AR 的技术以及技术应用方面,有着想要成为行业头部平台的野心,也拥有着相应的能力。

今年 5 月,腾讯 2018 财年 Q1 财报中显示,手机 QQ 月活为 6.94 亿。作为年轻人的社交平台,腾讯 QQ 无论在 AR 与社交的融合打造新一代社交模式方面,或者通过平台能力打造 VR 应用入口方面,基于自身坚实的技术基础,依然是充满想象力和可能性的。

分享
扫一扫分享到微信
登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中
爱范儿 App 下载二维码

爱范儿 App

爱范儿,让未来触手可及

爱范儿
APPSO
董车会
玩物志
爱范儿 公众号二维码

关注明日产品的数字潮牌