所有骁龙8旗舰手机将都能拍出徕卡德味照片,靠什么?
不管命名如何改变,高通对 8 的喜爱一直未变,从上一代的骁龙 888,到昨日发布的全新一代骁龙 8 移动平台,8 系一直就是骁龙芯片的招牌系列。
和以往一样,我们可以看到全新一代骁龙 8 移动平台在各个方面的进步:
- 骁龙 8 在 CPU 部分比起上一代,有 20% 的性能提升,同时功耗下降 30%
- 骁龙 8 相比于上一代的图形渲染速度提升 30%,功耗降低 25%
- 全新骁龙 X65 5G Modem 可提供最高 10Gbps 的下载速度,上代 X60 5G Modem 最高为 7.5Gbps
- 骁龙 8 是首款支持 8K HDR 视频拍摄的移动平台,拥有 3 个 18bit 色深的影像处理器
- 骁龙 8 已经用上了第 7 代 AI 引擎,AI 性能最高可达上代的 4 倍
这次骁龙的 AI 引擎有什么进步?
等等,骁龙 8 在 CPU、GPU、网络、影像上的进步是一步一个脚印,稳定进步,为什么在 AI 性能上却玩起了跳远,一下子前进这么多?
答案是除了硬件能力上的进步,还有在软件上的优化:除了将骁龙 8 移动平台中 Hexagon 处理器的张量加速器性能和共享内存均提高至 2 倍之外,高通也将其 AI 软件的性能提高至 2 倍。
不过对于最终买到骁龙 8 移动平台终端的消费者来说,AI 性能有多强,AI 性能怎么强其实并不是那么重要,重要的是,这么强的 AI 性能能够做什么?如果只是为了在 PPT 上长长脸的话,那增加这个 AI 引擎岂不是徒增功耗?
高通表示,消费者的想法很有道理,我们先把功耗降下来,再考虑它有什么用。于是,高通接着表示,全新一代骁龙 8 的 AI 能效比前代提升 1.7 倍,每瓦性能是所有处理器当中最高的。
然后,高通就花了大量的篇幅告诉我们,骁龙 8 移动平台的 AI 能够做什么?
骁龙 AI,其实无处不在
实际上,在本次技术峰会首日的日程中,他们讲 AI 的地方非常碎片化,这种碎片化是因为 AI 确实无处不在,很多功能特性不是独立存在,而是需要 AI 协助才能实现。
比如这个和合作伙伴一起完成的「虚拟试鞋」功能:只要把摄像头对准自己的脚,就能看到各种鞋子上脚的效果,很明显这里用到了计算机视觉。
再比如,在元宇宙的基础技术里面,高通认为 AI 也肯定有一席之地,即便现在元宇宙只是个概念。
在全新一代骁龙 8 移动平台上,除了保证 3 个摄像头同时运行的 3 个主力 ISP(影像处理器)之外,还有一个始终开启的 ISP 来实现前置摄像头的始终面部检测等。
首先要强调的是,这个独立的 ISP 位于骁龙 8 移动平台的第三代传感器中枢当中,不记录不上传用户信息,数据只留在传感器中枢里面,它仅仅提供快速的面部检测等功能,所以无需担心它会泄露隐私。这个第三代传感器中枢也是骁龙 8 移动平台 AI 引擎的重要组成部分,其中全新低功耗 AI 子系统由专用 AI 处理器、DSP(数字信号处理器)、外加自有内存组成,用于处理情境数据流,包括语音、音频、传感器和连接。
▲ 做饭双手腾不开的时候,看一下手机就能解锁亮屏看菜谱
传感器中枢中独立 ISP 智能的地方在于,前置摄像头无需手动操作唤醒,而是时时刻刻都在低功耗工作,就像始终待命的蓝牙或者 5G 信号那样,当它检测到用户面部信息之后,在用户腾不出手的时候,可以直接亮屏解锁。
这个功能还有个防偷窥的作用,比如在地铁上,经常会遇到背后的窥屏怪,这个时候,始终工作的第 4 个 ISP 和前置摄像头就能成为我们背后的眼睛,探知后面的眼睛是否在窥屏,至于是直接锁屏,还是提醒用户,还是置之不理,后面的工作就可以交给手机厂商和用户去选择了。
再进一步的话,也正是因为这个功能,手机前置摄像头能时刻知道正在盯着手机的人是否为机主。所以手机甚至可以做到其他人无法让手机亮屏,完全的保护用户隐私,毕竟有时候通知信息也挺敏感的。这个和 AI 技术息息相关的新硬件功能可以给手机厂商和应用开发者提供各种各样的新场景新功能。
我们再聊一点实际的,拍照美颜已经不是什么新鲜技术了,拍照背景虚化,手势识别和姿态识别现在也很简单了,不过在视频当中运用这些技术对性能的要求就更大了。
▲ 骁龙联合虹软,实现 4 个神经网络同时工作
并且,如果要同时在视频拍摄当中运用这四个技术(面部识别、背景虚化、手势识别和姿态识别),对 AI 性能的要求就进一步加大,因为四个不同的技术对应四种神经网络运算。在全新一代骁龙 8 移动平台 AI 能力的加持下,视觉算法提供商虹软实现了在视频拍摄中同时运行四个神经网络,同时进行面部识别、背景虚化、手势识别和姿态识别。
可能有人要问了,这四种不同的技术有什么用?看起来也不能带来什么啊。打个比方,这里骁龙的 AI 能力像是地基,虹软在地基上盖了毛坯房,最终手机终端厂商,或者应用厂商会在毛坯房上进行精装修(美颜、长腿,虚化…),最终消费者住上的,就是精装修房子。但是如果没有地基和毛坯房,那精装修也只是空谈。
并且在地基阶段,就已经决定了这个房子是两室一厅还是豪华别墅,从这里其实已经可以看出,AI 性能强大与否,和最终体验息息相关。
实际上,高通也不是不会提供精装房。
此前夏普和徕卡一起打造了基于骁龙 888 移动平台的 Leitz Phone 1,用到了 1 英寸大底的摄像头,内置了徕卡 LeitzLooks 模式,可以在手机上提纲徕卡风格照片。而在骁龙 8 移动平台上,高通和徕卡旗下的 Ernst Leitz 实验室一起宣布,未来骁龙移动平台将支持由高通 AI 引擎赋能的 Leitz Looks 模式。甚至更多基于其他传统徕卡镜头的 Leitz Looks 模式将在未来推出。
▲ 徕卡风格照片
这意味着只要手机厂商愿意,都可以在手机里面直接使用 Leitz Looks 模式,帮助用户拍出徕卡风格的德味照片。对,所有一切高通和 Ernst Leitz 实验室都做好了,手机厂商直接拿来用就可以了。
计算机视觉当然是 AI 各种技术里面用得最广,感知最强的领域,不过 AI 还有很多其他妙用。
AI 其实也有听觉,望闻问切四招里面,闻和问它都会。
▲ AI 评估情绪状况
高通开始和健康企业 Sonde Health 展开合作,在骁龙 8 移动平台手机上就可以进行 AI 语音分析,来跟踪用户的健康状况,比如心理健康状况,还有和声音相关的健康状况,比如用户是否有哮喘等等。
在游戏里面,很多人其实对 AI 已经相当熟悉了:要么暴揍 AI 玩家,要么被 AI 玩家暴揍。除了这样的相互伤害之外,AI 也有一些切实用处。
全新一代骁龙 8 移动平台的 AI 引擎在游戏里面,有 2 个能让用户有直接感知的功能:先进渲染和防作弊检测。前者能够帮助游戏实现更清晰的画面,而后者能够帮助检测其他玩家有没有使用作弊软件,促进公平游戏。
在很多细微的地方,比如信号层面,AI 也有很有趣且有用的用法。很多手机厂商都会头疼的一件事就是信号,尤其是用户横向握持手机玩游戏或者看视频的时候,会遮挡天线干扰信号,而偏偏游戏和视频又是对网络信号要求最高的场景。要解决这个问题,除了嘴硬之外,就是重新设计天线布局,以及借助 AI 的力量。
在骁龙 8 移动平台的 Modem(调制解调器)和射频系统中,AI 天线调谐技术已经加入套餐,它可以检测用户握持手机时手部的位置,增强天线调谐能力,保证数据传输稳定快速,以及电池续航水平(信号越差,天线接收功率也会随之增高,功耗也会增加)。
可以看到,在全新一代骁龙 8 移动平台上,高通在各个层面,比如游戏、影像、生产力、连接和健康监测等提供了多种多样的 AI 能力,从地基级到精装房拎包入住级,很多还是 7×24 小时始终工作的。
其实最终要实现的,就是让 AI 无处不在,让 AI 成为日常伴侣。
它会知道用户每日的跑步习惯,适时打开健康 app,统计锻炼数据,提供跑步音乐;它也会知道用户开始驾车上班了,自动打开导航,开启语音控制模式,保证安全驾驶…
从 CPU 到 SoC 再到移动平台,名称的变化,也展示了手机芯片的发展历程,以及职责变化,从运算指令,到图像图形处理,再到接收处理网络信号,以及 AI 运算等等,我们经历 SoC 从拼核跑分时代,到 AI 角力时代。其背后,也是智能手机的形态变迁,它是电话,是相机,是游戏机,也是知心伙伴。
从这个角度来说,智能手机的发展离终局还有很长距离,毕竟这次全新一代骁龙 8 移动平台进步最大的地方之一,就包括 AI 这块,智能仍在飞速进步,智能手机当然也是如此。