# 那个创造了计算摄影的男人，现在要为每台手机安一个「Pixel 相机」 - 作者：周宇 - 发布时间：2020-07-30 09:00 - 分类：公司 - 原文：https://www.ifanr.com/1354740 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/Google-Distinguished-Engineer-Marc-Levoy.jpg) > 迄今为止我们测试过的最佳智能手机相机——DxOMark 2016 年的智能手机市场，每一家都在摩拳擦掌，准备大展身手，但任谁都想不到是，那一年手机拍摄领域最亮眼的既不是 iPhone 也不是三星，而是 Google 自研的 Pixel。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/12121.png) 之后 Pixel 2 推出时，同样的情况再次上演，只用单摄的 Pixel 2 超越了同期大量双摄旗舰，登顶 DxOMark，还带来了人像模式。此后的 Pixel 系列也一直维持同样的策略，它的相机物理硬件并非最强，但在手机摄影领域却有着不俗的表现，Pixel 3 带来了夜景模式、Pixel 4 带来了天文摄影。 Marc Levoy 作为 Pixel 相机团队的首席工程师，正是幕后推动这一切的主要推手，用现在流行的话来说，Marc Levoy 用计算摄影，改变了潮水的方向。 ### 与 Google 相遇 Levoy 原本就是一位摄影爱好者，在他的个人网站上还能看到不少他拍摄的照片。而他和 Google 的相遇则要从斯坦福大学说起。1990 年，Levoy 进入斯坦福大学计算机科学系，主要教授计算机图形学、数码摄影、艺术科学等课程。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/Google-Distinguished-Engineer-Marc-Levoy.jpg) ▲ Marc Levoy 1993 年，Levoy 借了一些磁盘驱动器给博士生 David Filo 和 Jerry Yang，他们用磁盘等工具建立了一个互联网目录网站，这个网站之后被称为 Yahoo。同为博士研究生的拉里・佩奇（Larry Page）和谢尔盖・布林（Sergey Brin）则在离 Levoy 办公室两扇门远的地方研究互联网索引，后来他们创立了一个搜索网站——Google。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/1280px-Google_page_brin.jpg) ▲ Google 创始人拉里・佩奇和谢尔盖・布林 拉里・佩奇和 Levoy 的研究生公用一个办公室，而谢尔盖・布林则是 Levoy 的计算机图形课上的学生。在斯坦福，Levoy 几乎是目睹了互联网的崛起，而由于他和 Google 创始人的师生关系，渐渐与 Google 有了越来越多的联系。 拉里・佩奇和谢尔盖・布林离开斯坦福创立 Google 后，很快投资了一个由 Levoy 主导的研究项目 CityBlock ，通过拍摄视频并将其复制到图片中，再通过计算处理等方式复原实际场景，也就是后来被 Google 商业化的 Google 街景项目。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/Google_Street_View_2018_02.jpg) Levoy 在计算摄影领域上的深厚造诣令 Google 团队十分钦佩，以至于 Google X 实验室遇到问题时第一时间想到了这位斯坦福教师。当时 Google X 正在研究一个名为 Google Glass 的产品，旨在推出一款可穿戴的「计算机」，而这台计算机将以眼镜的形式出现。 据 Google X 实验室发布的[博客](https://blog.x.company/meet-gcam-the-x-graduate-that-gave-us-a-whole-new-point-of-view-3ee86657d6c9)，由于 Google X 选择了眼镜这种可穿戴式的产品形态，对硬件的要求极高，就算是手机中常见的微缩型相机硬件模组，应用到 Google Glass 上还要保持较好的拍摄效果，也并非一件简单的事。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/CI9u0KXxLvW4qwVkgRr-rABb6LjpeoaL2VBWrbODA1o.jpg) ▲ 早期的 Google Glass 原型 既然通过硬件实现很难、或者说几乎不可能，是不是应该换一种思路，用软件来解决呢。就这样，Google X 找到了计算摄影领域的专家 Levoy 帮忙一起解决这个问题。 最终 Levoy 和 Google X 团队研究出了一种名为 HDR 成像的算法，即快速拍摄多张图片，并通过计算处理合成出高质量的图片。多张合成的方式可以更好的渲染暗部细节，同时又能保证高光处保持更高的清晰度。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/unnamed-11.jpg) 与 Google X 合作期间，Levoy 自己还制作了一个 App——SynthCam，同样是通过合成计算的方式，让使用微缩相机模块的手机也能模拟单反，实现拍摄主体之外内容逐渐模糊的效果。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/puzzle-with-toolbar-v20.jpg) ▲ Levoy 用自制软件 SynthCam拍摄的图片 尽管以现在的眼光来看，效果并不算特别好，但在当时已经是手机摄影领域的一次新突破了。 对于计算摄影极强的兴趣，也促进了 Levoy 从斯坦福退休后加入 Google 。 ### Pixel 系列，计算摄影的新起点 2014 年，Marc Levoy 从斯坦福退休，进入 Google 成为全职员工，并担任了 Google 内部最具影响力的部门之一 Google Research 的领导人，主要负责研究计算摄影领域相关的事项。 在和 Google X 实验室合作时，Levoy 就意识到了 HDR 算法能应用在智能手机上，毕竟 Google Glass 和智能手机都是移动终端，便携性是优势。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/marc_levoy_thumb800.jpg) 就这样，Levoy 带领团队在 Nexus 系列上尝试应用 HDR 算法，不过效果一直不算太突出，Nexus 系列最后一款机型 Nexus 6P，就算使用上 Levoy 团队研发出的升级款 HDR+ 算法， DxOMark 分数也只有仅仅 73 分，和当时的主流旗舰还有一段距离。 直到 Google CEO 达尔・皮蔡（Sundar Pichai）在 2016 年提出由「移动为先」转为「AI 为先」的口号，Pixel 系列正是在这样环境下诞生的。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/w1240-p16x9-ALPHABET-GOOGLE.jpg) 整个公司的策略转向，也让专精于软件计算领域的 Levoy 获得更多的灵活度与资源，他成为了Google 首款自研智能手机——Pixel 系列的相机团队负责人，而相机正是 Pixel 系列的核心。 得益于 Pixel 用上了新的处理器骁龙 821，处理能力有不少提升，Levoy 能让 HDR+ 算法更舒畅自由的发挥，至少采集图片和合成计算的速度提升了不少，不会出现 Nexus 系列上开启 HDR 算法一会后手机就会过热，按下快门键后需要等待一会才能完成拍摄的情况。 2016 年 10 月 4 日，Google 正式发布了 Pixel，它的相机模组和 Nexus 6P 相比并没有太大变化，都是 1230 万像素和 1.55 μm 的单像素尺寸，只多了一个相位对焦功能。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/maxresdefault-3-1-1.jpg) 但 Pixel 却让整个业界为之震惊，它超越了同期旗舰 iPhone 7 Plus 和三星 S7 登顶了 DxOMark 榜单。硬件几乎没有太大变化，但拍照能力却获得了质变，可见 Levoy 带领团队开发的 HDR+ 算法是有多强。 2017 年，Levoy 又尝试将自己在 2011 年左右开发的 App SynthCam 的技术拓展应用在 Pixel 2 上，同样是通过采集多张照片进行计算合成。不过，为了不出现之前 Nexus 系列上硬件拖后腿的现象，Pixel 团队特别为Pixel 2 加入了一颗名为「 Pixel Visual Core」的定制图像处理单元，以加速图像采集速度和计算速度。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/pixel_2_system_on_a_chip-1.jpg) 有了硬件支持，Levoy 也更好发挥了，这次他在 Pixel 2 上加入了 AI（神经网络），用来判断物体的相对位置，进而推出「人像模式」，实现人物主体清晰，人像后的背景却逐渐模糊的效果。 不出意外，Pixel 2 再次超越同期旗舰三星 Galaxy Note 8 和 iPhone 8 Plus，登顶 DxOMark 榜首。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/222331.png) 两次都是使用单摄，两次都是硬件普通甚至算落后（同期旗舰都用上了双摄），但 Pixel 却两次登顶，超越所有的对手，这让 Levoy 成为业界炙手可热的人物，甚至被称为是重新发明了「计算摄影」。 ### 计算摄影，改变了潮水的方向 Pixel 系列的成功并没有让 Levoy 沉溺于其中，相反他又将目光转向了摄影领域的另一座高峰——夜间摄影，在 Pixel 推出的同一年，Levoy 在做极端低光条件下的拍摄[实验](https://www.youtube.com/watch?v=S7lbnMd56Ys)。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/WX20200729-140447.png) 要知道夜间摄影的光照条件可比不上白天，而且智能手机作为移动便携设备，相机模组并不大，导致进光亮极少，不开闪光灯的话，想拍清楚是极难的一件事。 Levoy 对计算摄影的强大信念让他成功坚持了下来，正如他在极端极光拍摄实验视频中所说的： > 我认为，当我们从硬件主导的摄影转向软件定义的计算摄影的新领域时，这个领域才刚刚开始令人兴奋。 结果，现在我们都已经知道了， Levoy 登上了夜间摄影这座山的山巅。2018 年 10 月，Google 推出了 Pixel 3，这款新机最大的亮点正是 Levoy 带领团队开发的 Night Sight 夜景模式，即使是在晚上手机也能拍出精细度、亮度极高的照片。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/night.jpg) ▲Night Sight 效果样张 . 图片来自 Google 和以往一样， Levoy 的解决办法还是老一套，采集图片加合成计算，只不过和我们直觉相反的是，Night Sight 夜景模式并非采集不同曝光度图片或是采集明亮而模糊的照片进行合成计算，而是选择捕捉大量昏暗而锐利的图片，进行合成计算，最终输出一张清晰的照片。 而在 Pixel 4 上，Levoy 在摄影领域的突破是天文摄影。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/image10.jpg) ▲ 图片来自：[Google](https://ai.googleblog.com/2019/11/astrophotography-with-night-sight-on.html) Pixel 系列，做到了以往硬件主导的摄影所做不到的事，无论是 HDR+、人像模式，还是 Night Sight 夜景模式、天文摄影，无不是对以往的突破。由软件定义的计算摄影，几乎启发了整个智能手机行业。 苹果、三星、华为等手机厂商在计算摄影上的投入越来越多，夜间模式几乎成为了高端旗舰手机的标配，AI 拍照加持从高端旗舰普及到中低端产品中，成为一个基础宣传点。 Marc Levoy ，改变了潮水的方向。 ### 现在， Levoy 要为每台手机装上一个「Pixel 相机」 计算摄影给整个智能手机行业带来的好处是显而易见的，对于相机硬件模组较为落后的机型来说，它们也能利用算法显著提升拍摄质量。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/google-pixel-phone-8422.0.jpg) 它为拍照所带来的优势甚至引发了一次 Pixel 相机程序移植潮，我们在之前的报道中就提到过，开发团队 B-S-G 曾修改了 Pixel 的相机应用程序，让它能兼容其他 Android 手机，并把修改版程序发布到了 XDA 论坛中，有不少用户下载尝试了。 在我们的实际测试中，利用修改版的 Pixel 相机程序拍出来的照片，暗部的亮点有较好的提升、过曝现象也有一定减少，但偶尔还是会出现偏色的情况，毕竟是修改版程序，有 bug 也能理解。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/sample01.jpg) ▲左：正常、右图：HDR+ 不过，现在这个问题可能要解决了，作为 Pixel 系列相机软件的主导者，Levoy 在 Google 工作了近 6 年后选择了离职，而他的新工作正是 Adobe 公司的副总裁。 根据外媒 Gizmodo 的[报道](https://gizmodo.com/one-of-the-lead-engineers-behind-the-pixel-camera-just-1844446969)，Levoy 在 Adobe 的主要工作除了继续研究计算摄影外，还有研发一个能在不同平台、不同设备上使用的通用相机程序，此前 Adobe 在移动端推出的 lightroom 软件就自带相机应用程序。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/IMG_3380.png) ▲ lightroom 自带拍照功能 基于 Levoy 在计算摄影的积累与多项成就，再加上 Adobe 在图片领域的长久积累，这款不限平台、不限设备的「Pixel 相机应用程序」还是很令人期待的。 而且现在中端手机的相机硬件素质相较几年前已经获得了较大的提升，2099 元起售的荣耀 30S 用上了 6400 万像素主摄像头，此外还有长焦、微距、超广角 3 颗后置镜头，1599 元的 Redmi 10X 也用上了4800 万主摄。 ![](https://s3.ifanr.com/wp-content/uploads/2020/07/IMG_3381.jpeg) 对于消费者来说，已经完成升级的硬件，再加这款通用型的「Pixel 相机应用程序」，拍出好照片只会越来越容易。 只是，当计算摄影通过智能手机完成真正的普及之后，你还会相信眼见为实吗？