• 媒体品牌
    爱范儿
    关注明日产品的数字潮牌
    APPSO
    先进工具,先知先行,AIGC 的灵感指南
    董车会
    造车新时代,明日出行家
    玩物志
    探索城市新生活方式,做你的明日生活指南
  • 知晓云
  • 制糖工厂
    扫描小程序码,了解更多

当你按下快门拍照,你的手机却在做数学题

产品

2021-08-27 17:50

穷则流体力学,达则力大砖飞。这是流传在航空圈子里的一句笑谈。

▲ 米格 25:一块不锈钢的上天之旅.

指的就是苏联把 32 吨不锈钢飞到 3.2 马赫的故事,彼时让美国「大受震撼」。相对于浑身黑科技的 SR-71 黑鸟侦察机,米格 25 的做法直接且有效,直接怼上了两台火箭发动机解决。

按照苏联工程师这个非常规的思路,「板砖」形航空器也能轻松飞出超音速。

▲ 马斯克的星舰 SN6. 图片来自:cnet

到现在「力大砖飞」的例子应该就是马斯克的星舰原型机了,与米格 25 有着异曲同工之妙,大力出奇迹就是了。

倘若把航空圈子的趣谈转移到影像领域的话,也能够对应上来。

进入数码时代,影像产出的优劣几乎可以与传感器尺寸成正比,尺寸越大天然的优势就大,配合着传统物理光学的桎梏,很难「逆袭」。

智能手机传感器只有「指甲盖」大小,以及受限于体积,镜组设计左右为难。以传统的影像思路,有种腹背受敌的感觉,难以突破物理的上限,更别说去做一些喜闻乐见的创新了。

▲ 被认为「计算摄影」之父的 Marc Levoy

一直到 Google Pixel 初代发布,并一举夺得 DxOMark 的桂冠。彼时人们逐步意识到了「计算摄影」的魅力。

再到 iPhone 12 系列的发布会上,苹果花费了很长的时间来介绍 iPhone 上的「计算摄影」带来的进步,以及功能的提升。

可以说,此时计算摄影已经成为一个潮流,而相对于传统物理光学的停滞不前,它似乎有着更大的潜能,甚至只靠算法就能达到「力大砖飞」的境界。

以往来说,算法可能只算是锦上添花,让图片颜色更好看,夜景更纯净,逆光更清晰,但最近 MIX 4 以及 iOS 15 对「图像」的处理已不仅停留在「好看」的层面。

▲ 小米 MIX4.

小米 MIX 4 最大的亮点可以说是那块屏下摄像头技术实现的全面屏。全面屏概念逐步的落地,除了屏幕技术突破,计算摄影在里面也发挥了很大的用处。

现在 CUP 区域屏幕通过「小像素」、「透明导线」等等技术来规避衍射效应和增强透光率,但相对于普通 OLED 屏幕的来说,其透光率依旧不足 20%。

▲ OPPO 屏下摄像头原型机.

在小米 MIX 4 之前,OPPO 也公布了自己的屏下摄像头原型机,并表示接下来的目标是把透光率提升到 40%,但距离传统的 90% 依旧有着很大的空间。

而这个差距就交给了「计算摄影」,把物理光学变成了一道道数学题。

根据小米的分享,MIX4 的相机在产线上会逐一根据屏幕校准,再通过「衍射模型」减弱衍射效应,以及进行多帧 HDR、降噪、去雾等操作,且在最终成像之前,还会进行一系列的细节、色彩优化等等。

▲ 小米 MIX 4 调用 QQ 内自拍.

如此的操作,通过我们之前的实测,基本上能达到接近 80% 的自拍效果。不过,这些算法的调用仅限于自家的相机 app 上,暂时还未开放给第三方,或者第三方针对性优化,三方 app 调用前置很容易「露馅」。

而在 iOS 15 中,苹果也利用「算法」消除了一项 iPhone 摄像头的光学缺陷。

▲ Shot on iPhone. 图片来自:Reddit

从 iPhone 11 系列开始,由于镜组设计的缘故,在面对点光源拍摄时,会出现「鬼影」,尤其是在夜间,仿佛现实世界中存在了一面透明的镜子一般。

无论是在微博还是 Reddit 上,都引发了大量的讨论,一直到 iPhone 12 系列发布,苹果依然没有对其做出改变,鬼影依旧。

▲ 右图为 iOS 15 Beta 4. 图片来自:Reddit

在 iOS 15 Beta 4 更新之中,苹果用算法处理掉了部分照片中的鬼影。除了抹除外,iOS 15 Beta 4 的这个特性还会依据图片内容进行自动识别鬼影。

由此来说,风光类的照片更容易被判断出来,而在室内,可能就没有那么有效,鬼影仍然存在。

▲ 右图为 iOS 15 Beta 4. 图片来自:Reddit

并且,Reddit 相关帖子下,从 iPhone XS 到 iPhone 12 Pro Max 都可以把鬼影优化掉,并非仅限最新的机型。而随着 9 月份 iOS 15 正式版的到来,相信「鬼影」的问题会消除的更好。

在传统影像领域,「鬼影」只能避免,很难通过光学设计来完全消除。超广角镜头用上了夸张的大镜片,以及内部各种非球面镜等特殊镜片来避免「缺陷」。

苹果利用算法来解决光学缺陷,可谓是另辟蹊径,跳出了传统影像厂商们在镜片上堆料来解决缺陷的惯性思维。

▲ Jon McCormack.

记得在 iPhone 12 系列会后的一则采访中,苹果软件副总裁同时也是负责 iPhone 影像系统的 Jon McCormack 表示「苹果的思维方式与专业传统影像厂商并不一样」,「我们的目标是让每个人都讲述自己的故事。」

也就是说,相对于微单、单反这类工具属性的产品来说,智能手机影像更以用户角度出发,比如通过算法来优化色彩,多帧合成「夜景」、HDR 等等。

同时,智能手机也是目前唯一能够兼顾采集、编辑、加工、分享于一体的设备,地位特殊。也是如此,才催生了「计算摄影」这种在传统摄影领域被认为「剑走偏锋」的路子。

不同于现在专业的影像厂商,包括手机厂商在内,其实一直在探索 Camera 3.0 的革命性创新。(Camera 1.0 是胶片时代,2.0 则是数码时代,从化学领域转移到物理领域。)

▲ Light L16. 图片来自:theVerge

Light L16 多镜头相机被华尔街日报称之为「相机的未来」,而国家地理甚至称它有着革命性意义的相机。

它的采集原理从现在来说与智能手机的多摄系统类似,16 枚镜头(广角、长焦、中长焦等等)一同参与成像,最后输出一张「无瑕疵」的照片。

▲ Light L16 最终成像所运用的不同镜头.

Light L16 的概念一出,成为媒体宠儿的同时,也获得了 Google Ventures 3000 万美元的投资,但产品不断的跳票和延期。

最终上市后的 Light L16 相机并没有完成最初的畅想,除了硬件软件一团糟。台湾省 Mobile01 的相机编辑 Ki_min 测试完之后,发现所谓的多镜头算法合成其实是简单的数码裁切,很多功能并未实现。

最关键的是, Light L16 并没有任何算力来解决机内的「一条龙」处理,依然需要 PC 级的计算平台来辅助,从而完成最终的输出。

现在回头来看,Light L16 应该只算个半成品,少的其实就是计算平台和算法。而成功吸引到很多媒体的关注,成为媒体宠儿,靠的其实是成像理念,也就是算法,现在来说就是「计算摄影」。

「计算摄影」最初出现其实是为了弥补手机小感光元件的缺憾,随着芯片算力的增强,智能手机影像逐步成为一个竞争长赛道,让「计算摄影」有了十足的进步。

现在,凭借的算法优化,让 CUP 全面屏趋于成熟,让曾经困扰镜头设计师的「鬼影」消失。计算摄影已经不再承担「优化」的角色,而逐步走向前台,成为拔高画质、成像质量的关键一环。

倘若彼时的 Light L16 拥有如今的「算法」,我想它可能会是相机的一个未来可能,但它并非是 Camera 3.0,「计算摄影」才是。

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中