# 手上戴个「圈」就能玩 VR，这是什么新玩意？

- 作者：吴志奇
- 发布时间：2020-07-27 09:04
- 分类：产品
- 原文：https://www.ifanr.com/1353960

![](https://s3.ifanr.com/wp-content/uploads/2020/07/999-2.png)

一说到玩 VR 游戏，想必你脑袋里已经浮现出一个看起来有点奇怪的人——

他戴着一个硕大的头戴设备、两手握着厚重的控制器，手臂并不轻松地在空气中张牙舞爪。虚拟游戏中，他的手紧握手柄，变成了哆啦 A 梦一般的圆球，灵活的手指在磅礴奇幻的新世界却毫无用武之处。

不过很快，我们就不用握手柄了。虚拟世界中的手，也将恢复自由。

来自康奈尔大学和威斯康星大学麦迪逊分校的华人科学家，近日[联合打造了一副「3D 手环」](https://news.cornell.edu/stories/2020/07/researchers-develop-3d-hand-sensing-wristband)—— FingerTrak。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/FingerTrak-1-e1595428115578-1024x555.jpg)

戴上这个「圈」，你十指的动作就都能被精准捕捉，而且它在未来的玩法，可能比你想到的还要多。

研究成果已经发表在了[《 ACM 互动，移动，可穿戴和普及技术期刊》](https://dl.acm.org/doi/abs/10.1145/3397306)上。

它的面世，意味着可穿戴传感器技术又迎来了新突破。

### 一个能读懂你手的「圈」

近年来，精准的手指运动跟踪，已经成了 VR 和 AR 领域研究的热门技术。

如果你是一个动画师，应该就知道捕捉人手有多复杂了，手部每个关节的每次弯曲、伸展，都有着无数种可能。

FingerTrak 的最大特色，就是用了一种新技术，来准确预测每根手指的位置——**热传感器跟踪**。

这个「圈」看起来就像一个双层的手环，不过重点是手环周围安装的四个热像仪。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/FingerTrak-02-768x432.jpg)

这些热像仪非常小，长 5.7mm，直径 9.3mm，就跟豌豆大小差不多。

它们的尖端都有一个低分辨率的红外摄像头，指向手指的一面。虽然分辨率较低，只有 32 x 24 像素，但它们能够精准地跟踪佩戴者手的运动。

研究里呈现的红外热像仪图像中，可以看到手指橙色和黄色区域在随着指尖移动不断变化。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/12-1.gif)

再通过系统中专门设计的深度神经网络（DNN），就能准确地根据手腕轮廓，预测 20 个手指关节的位置。

最后，将各个轮廓的图像连结在一起，就能以 3D 方式重构整只手。

接着，重构的手势信息就能在虚拟模型甚至是机器人的手上再现。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/FingerTrak-730x406.jpg)

在研究人员的测试中，设备能够准确地仿生人类动作。

学会翻书：

![](https://s3.ifanr.com/wp-content/uploads/2020/07/23.gif)

拿笔写字：

![](https://s3.ifanr.com/wp-content/uploads/2020/07/35.gif)

拿杯子喝水：

![](https://s3.ifanr.com/wp-content/uploads/2020/07/56-1.gif)

玩手机：

![](https://s3.ifanr.com/wp-content/uploads/2020/07/68.gif)

热传感器跟踪的新方式，极大改善了手部动作的识别能力。

因为设备不再是通过摄像头直接捕捉手指位置，而是结合热成像和机器学习技术来「隐形」获取。摄像头拍不到的地方、检测不到的细微运动，将都可以被「看到」。

这也是**第一个基于手腕轮廓来重建全手姿势的系统**。

在对 11 位受试者的测试中，研究结果表明识别角度误差为 6.46° 至 8.06°，而且背景越均匀，错误率就越低。

不能说已经实现了高精度跟踪，但是至少实现了一种更好的手指跟踪解决方案。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/fingertrak2-e1595262897539.jpg)

### 玩 VR 不用手柄了，但不止于此

研究中的 FingerTrak 原型，是连接 Raspberry Pi 进行的运作。但研究人员表示，未来升级的版本，将可以与智能手机连接，与 VR 眼镜连接，甚至可以无线连接。

连上之后，你戴着手环就可以玩 VR 游戏了，手指也能在游戏中进行更自然和多样化的操作。

在日常生活中，它的用处就更贴近每个人了。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/666.png)

FingerTrak 将能像智能手表一般，监测我们的健康状况，但比智能手表厉害的地方在于，只要你动动手，它就能传达你的身体状态好坏。

这对于老年人尤其受用，特别是通过老年人日常生活如何使用双手，从而监测帕金森氏症和阿尔茨海默氏症等疾病的早期征兆。

在人机交互方面，你还能通过 FingerTrak 介入，让的家里的机器人模仿人类的动作，更好地为我们服务。

研究人员还指出了一个最有希望的潜在应用：翻译手语。

毕竟当前的手语翻译技术，要不是需要用户戴手套，要不是需要使用到相机，这两者体验都比较麻烦，而 FingerTrak 将能让手语翻译变得直接、快速、人性化。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/78-1.png)

但是，FingerTrak 现在仍处于早期的研究阶段，商业化可能还需要几年时间，毕竟上述所说的任一场景实际使用都不简单。

比如说，如果要和 VR／AR 应用匹配，替代设备中的手柄控制器，首先就得考虑精度问题，以及手指之间的配合问题。

毕竟在现实中，少了一根手指，偏移一点位置，我们手中的东西可能都会掉在地上，所以精度和现实稍有偏失，虚拟世界中的真实体验就会错乱。

不过，研究人员表示该设备采用的组件价格都很实惠，而且数据已经能实现相当高的准确度，这是未来商业化前值得庆幸的一件事。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/4f6d0b8ec4a84b6088d1d794798eb827.jpeg)

而且小荷才露尖尖角，虚拟现实也仍处于起步阶段，FingerTrak 的出现已经为我们带来了新的可能性，也让人看到了它在未来的巨大潜力。

据悉，FingerTrak 预计将在今年 9 月中旬的 ACM 普适计算国际会议上发布。

### 我们离理想的手部跟踪还有多远？

如果只是监测整只手，其实智能手表就可以了。

我们生活中常见的可穿戴设备，使用陀螺仪和加速计等传感器就能监测手部运动，比如抬起手腕，屏幕就会自动点亮等。

但是，未来要在虚拟世界逼近真实体验，必须得检测到每根手指的运动，智能手表的监测还做不到。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/090440355168.gif)

▲ Google Project Soli 计划，**一种基于雷达的手势识别技术**



手指是表达人类感情的重要一环。[手部跟踪技术](https://en.wikipedia.org/wiki/Finger_tracking)的研发其实已经走很长一段路了，各种新兴技术每年都纷繁显现。

比如[深度感应摄像头或红外传感器](https://newatlas.com/deephand-vr-hand-tracking/44004/?itm_source=newatlas&itm_medium=article-body)——普渡大学的科学家就利用深度感应摄像头来捕获手部动作，然后利用深度学习网络来了解数百万种手势，然后将它们在虚拟世界中准确显示。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/222666999.gif)

有人还[使用运动感应手套](https://gigazine.net/news/20200718-sign-language-glove/)——加利福尼亚大学洛杉矶分校（UCLA）的研究人员公布了一种手套式设备，通过机器学习辅助的可伸缩传感器阵列，能够将手语转换为语音对话，并在手机上播放。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/333-1.gif)

甚至[还有使用电磁传感器](https://newatlas.com/electromagnets-finger-tracking-vr/41059/?itm_source=newatlas&itm_medium=article-body)——Oculus 研究部门的成员在 2015 年开发过一种电磁传感器系统，通过安装在用户指尖的电磁体和四个磁力计来跟踪指尖运动，人们就可以在 VR 游戏途中停下来，用指尖选择弹钢琴或画画。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/111-3.gif)

但它们都有着相同的弊端：**要不就是设备太大太笨重了，要不就是需要高性能 PC 支持、反应滞后，大部分都无法商用**。

近年来，随着 AR／VR 等领域的发展，设备舒适度和视觉逼真度方面都在升级，研究人员一直在开发比手持控制器更自然的方案，因此手部跟踪技术也更新换代极快。

这种进步主要体现在两个方面：**一是跟踪手指运动的准确性提升，二是设备尺寸减小及重量减轻**。

前者譬如索尼在今年 5 月份发布了[「可高精度追踪手指运动的下一代 VR 游戏控制器」原型](https://gigazine.net/news/20200511-sony-finger-tracked-vr-controllers/)，这个握柄根据电极感应来确定手指运动，已经能跟踪到手指的细微动作了，可以做出握拳、弯曲手指，上能比「耶」，下能比「666」，11 种姿势任君挑选。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/999999.gif)

研究模拟中，玩家可以用手拿起虚拟空间的积木，并一个个搭建起来，只是手指姿势识别依然有限，很多人无法比出的下面这个手势，这个设备也无法识别：

后者譬如今年 2 月份，华盛顿大学的研究人员开发出[一个名为 AuraRing 的戒指](https://venturebeat.com/2018/06/17/leap-motion-makes-hand-tracking-better-again/)，它利用新型的电磁跟踪系统，能够进行高分辨率的光学跟踪，人们只需要在食指套一个 3D 打印的电线线圈，加上遍布传感器的腕带，手指就能在虚拟世界书写、敲击、轻拂、挤压物体等。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/678-1.gif)

轻是轻，小是小，但它的问题就在于，戒指是腕带感应能力的扩展，要在虚拟世界全盘操作，恐怕得戴满整只手才行。

而在 VR 市场，作为代表的索尼、Oculus、HTC 三家厂商中，Oculus 在头戴式设备 [Oculus Quest 上也使用到「手势追踪」](https://www.ifanr.com/1264752)的新技术，它甩别家几条街的地方就在于，可以**完全不用任何实物就实现手部跟踪**。

玩家戴上头盔，双手就会映射进虚拟空间，然后你就可以用双手在里面做你能做的任何事。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/Hand-Tracking-.gif)

这都是基于 Oculus Quest 顶上那 4 颗外置摄像头。它不仅能扫描周边空间，确认玩家所处的位置，还能在你望向手指操作时，细化分析每根手指的运动，并延伸到虚拟世界中。

Oculus Quest 已经做到了脱离手机和电脑的一体式设计，再加上手部跟踪技术，就能更让玩家沉浸感更强，它[还可能作为 Facebook AR 头戴设备的开端](https://36kr.com/p/1724463300609)，将真实世界的物体带入 VR 世界。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/Medal-of-Honor1.gif)

不过也因为计算机视觉和定位技术的局限，Oculus Quest 的手势应用在实际中还是会受到一些限制。

回过头看，FingerTrak 的设计虽然要带「手环」，但是最大的优势就在于「手环」轻便、小巧、可自由移动。

研究团队表示[通过进一步的工程设计](https://mixed.de/fingertrak-handtracking-mit-waermebildkameras-fuer-vr-ar/)，它的尺寸还能变得更小。

总而言之，手部跟踪要在虚拟世界变得自然无形，必然还有一定距离，但这个距离并不远。

扎克伯格坚信，VR 和 AR 会在 10 年内，成为继移动设备之后的下一代主要计算平台，直接改变我们的工作与生活。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/578.png)

[调研机构 Gartner 也指出](https://www.ifanr.com/1303616)，在 5G 和 AI 的驱动下，从现在到 2028 年，VR 和 AR 将让用户体验将在两个方面发生巨大变化 —— 用户对于数字世界的感知，和用户与数字世界的交互方式。

这意味着我们与数字世界的交互不再只局限于二维屏幕，而是在 VR 和 AR 中充分发挥人类完整的能力，让数字和现实完全无缝融合。

Oculus 首席科学家 Michael Abrash[ 在 2020 年计算机视觉和模式识别大会指出](https://36kr.com/p/762247943032964)：

> 未来的 VR 头显能够实现 200 度视场，视网膜分辨率，可变焦距，逼真音频，而 AR 眼镜则是「超级时尚」，完全可以取代智能手机，并赋予佩戴者感知超能力。

这也需要同等水平的技术升级，包括光学系统、界面、触觉、虚拟化身、人体工学等，而手部跟踪，就是其中至关重要的一环。

![](https://s3.ifanr.com/wp-content/uploads/2020/07/090440529849.gif)

▲ 图片来自：Project Soli



当然，对我们来说，最理想的情况，是根本不需要特定方式来跟踪手部。

不过 VR 和 AR 就像一块崭新而巨大的拼图，所有可能性都摊落在这片未来的蓝图之中。

人人都知道新面貌终将面世，但在这之前，我们还得继续寻找答案，我们也正努力填充答案。