• 媒体品牌
    爱范儿
    关注明日产品的数字潮牌
    APPSO
    先进工具,先知先行,AIGC 的灵感指南
    董车会
    造车新时代,明日出行家
    玩物志
    探索城市新生活方式,做你的明日生活指南
  • 知晓云
  • 制糖工厂
    扫描小程序码,了解更多

Apple Watch👌👌 隔空手势发布!这是它背后的故事 | 独家

专访

2023-10-28 16:40

苹果昨晚正式推送了 watchOS10.1,为两款新 Apple Watch 带来了双指互点两下(Double Tap)——指尖轻点就可以隔空操控屏幕:切歌、接电话、回复微信。两周前,我与 Apple Watch 的产品经理打了一通越洋电话,聊了聊这个四两拨千斤的手势背后的故事。

硬哲学是爱范儿报道硬件设计的栏目,我们希望剥离技术和参数的外衣,探求设计与人文的本源。

「双指互点两下」,今年新 Apple Watch 的全新功能,不是产品经理灵感乍现下的神来之笔,而来自每个用户都感同身受的——「那些只能用鼻子点击手表按钮的 moment」。

在接受爱范儿的独家专访时,watchOS 的软件工程师 David Clark 直言不讳,Apple Watch 在交互上始终存在一些不尽人意:

当你遛狗的时候,电话来了。你一手拿着 Mac 赶往下一个会议,突然收到一条来自同事的消息。烘焙时手表设置的计时器响了,但你另一只手沾满了蛋液,你不想碰它。

Apple Watch 产品经理 Eric Charles 说,这些手足无措的时刻,实际上耗费了用户更多时间去思考如何操作。团队希望在关键时刻能提供一种可靠且直观的方式,确保一切都能顺利运行,而无需额外的操作。

重视 Apple Watch 的手势交互,因为每个人都在经历「情境性残疾」

「双指互点两下」的雏形可以追溯到 2015 年,彼时 Apple Watch 发布还不满一年。

在一份名为《Motion and gesture input from a wearable device》的专利文件中,苹果试图探索通过肌腱感知和骨骼运动作为输入命令的可能。

 

6 年后,这些交互上的探索率先催生了 watchOS 8 的辅助触控(AssistiveTouch),用户可以通过捏紧、捏紧两下、握拳、握拳两次四种手势隔空操控手表。

作为无障碍功能的一部分,手势操控在当时要解决的问题是:

如果用户只有一只手,他该如何操控 Apple Watch?

从所有人角度出发是苹果设计原则之一,他们认为不应以人群多寡做差异对待,残障人士应该拥有同等使用产品的权利。

但在官方交互设计的文档中,苹果对「残障」的定义却不太寻常

每个人都可能经历残疾。除了大多数人随着年龄增长所经历的残疾外,还有一些暂时性的残疾——比如由于感染导致的短期听力丧失——以及一些特定情境下的残疾——比如在嘈杂的火车上无法听清——这些都可能在不同的时间影响到每个人。

手机可以单手操控,但 Apple Watch 从设计之初就固定于用户手腕之上,当你触摸屏幕时,实际上两只手都占用了。

某种意义上,每个 Apple Watch 用户都只有一只手,他们都经历过「情境性残疾」。

要解决这个问题,只有语音和手势操控两条路可选。基于物理动作的手势操控显然更为自然,它不依赖于界面的按钮和控件,尤为适合 Apple Watch 这种屏幕逼仄的设备。

实际上,初代 Apple Watch 就支持的「抬腕唤醒」,就奠定了手势交互的基本范式。

苹果研究过多种手部动作,其中不乏一些复杂的手势操作。

「双指互点两下」最终从多种手势方案中脱颖而出,源自于它满足两个标准:

  • 简单直观
  • 目的性明确

前者要求没有学习门槛,目的性明确要求这个动作必须能代表用户的意图,不是误触的结果。

相同的理由,「双指互点两下」只能在亮屏状态下才能激活。Eric 解释说,如果用户无法看到屏幕,就可能不知道做出了什么回应。

心率传感器的小 bug,意外催生了「双指互点两下」

「双指互点两下」看似简单,只需将两个手指并拢,但其背后的运作原理却颇为复杂。

「双指互点两下」基于一个由机器学习构建的算法,其数据来自于三个传感器:加速度传感器、陀螺仪和光学心率传感器。传感器会来检测手和手指轻点两下时的微小运动和血流变化的特征,从而准确获取用户的真实输入意图。

光学心率传感器是不可或缺的一环,尽管它并非为手势操控而生,但在多年的研究中团队发现,用户日常的手腕动作会改变手腕与心率传感器的接触,即使是最细微的缝隙,都会对心率传感器获取数据产生影响。

彼之砒霜,吾之蜜糖。这一意外的发现,让团队揭示了手势操作与心率传感器的关联。如果没有这些缝隙,「双指互点两下」的手势可能就无从实现。

正如 David 所说:

相同的传感器,相同的数据,我们能够实现截然不同的目的。

与辅助功能的手势操控运行在 CPU 上不同,「双指互点两下」调用了 S9 芯片的四核神经网络引擎,这使得算法检测提高了 15% 的准确性。

这就可以解释:为什么旧款 Apple Watch 不支持「双指互点两下」,而辅助触控的手势在可靠性上也逊色许多。

团队在开发过程中遇到了诸多挑战。比如,在面对不同体格、肢体长度甚至手势的细微差异时,如何确保每个用户都能获得一致的体验?如何克服蓝牙无线信号和 LTE 带来的干扰?

David 提到,团队从公司内部收集了大量数据,来训练机器学习模型,模型会把不必要的杂讯从中取出,确保在各种场景中检测手势的可靠性,特别是在非静止的场景中,都能准确地监测到手势。

「双指互点两下」能做什么,取决于 Primary Action

解决了算法的问题,苹果还需要在软件层面设计一个机制,来确定「双指互点两下」能做什么。

在 Apple Watch Series 9/Ultra 的体验中我曾提到,「双指互点两下」的操作对象并不具备既定指向性。与双指缩放不同,后者总会带来缩放效果。而双指互点两下在不同 app 中,带来的结果也不尽相同。

根据人机交互中的信息加工理论,在与界面交互的过程中,用户和机器之间会不断进行信息的双向处理,既定的反馈有助于增强操作的满足感,降低使用门槛,反之则会影响效率和体验。

苹果的解决方案是,为不同场景不同 App 设置合乎逻辑的 Primary Action(主要操作)。比如来电时,最合乎逻辑的操作就是接听,再次互点就是挂断。对于微信通知,最合乎逻辑的方式应该是回复,所以双指互点能够直接激活语音转文字功能,再次双指互点完成发送。

我们的原则是,你不需要过多思考,只需在需要时采取行动。

在一个月的使用中我发现,与应用内部的手势相比,通知类的即时手势反馈更为实用,尤其在电话和微信这些高频应用场景中。前者只是锦上添花,后者才是雪中送炭。

这也给开发者留有了更大的想象空间。当我问及开发者如何利用 Double Tap 提升软件体验时,David 说出了我心里的答案:回应通知。

开发者可以利用现有的通知 API,将最重要的操作放在合适的位置。这样当通知到来,用户可以直接双指互点来完成操作。

「双指互点两下」解决的问题,正是 Apple Watch 研发初衷

Wired 杂志记录了苹果研发 Apple Watch 鲜为人知的故事。经历了产品定义上的摇摆不定,团队终于洞察到 Apple Watch 存在的理由——智能手机正在毁掉你的生活。

用 Apple Watch 软件的技术负责人 Kevin Lynch 说,人们带着手机,频繁地看着屏幕。人们对那些在餐桌上埋头于手机的人嗤之以鼻,却在每次手机叮咚或震动时,不由自主地将手伸进口袋。

团队最终决定打造一款设备,一种你既不会也不能连续使用几个小时的设备,它能过滤掉大部分的信息,只为你提供最重要的信息。

如果说制造让用户沉迷的产品是商业公司的基本逻辑,那么 Apple Watch 可能是第一款反注意力的苹果设备。

在开发者网站上,苹果强调 Apple Watch 体验的核心在于 Moment,Kevin Lynch 在之前的采访中甚至给这个 Moment 框定了时间期限:从过去的 10 秒缩短到 2 秒。

「双指互点两下」的诞生,是 Apple Watch 对于摆脱干扰的一次跃进。在不少场景,我已经不需要劳烦另一手去操控手表,也不需要时时刻刻为密集的消息通知而掏出手机。

Apple Watch 可能无法彻底解放双手,也不会成为对抗信息过载的终究武器,但它以一种四两拨千斤的方式提供了一个崭新的视角:在信息洪流裹挟着焦虑涌来之时,除了充耳不闻,我们还能以一种怎样从容的方式与机器相处。

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中