# 纸片人活了！海报上的梅西、漫画里的悟空，都被 AI 唤醒 - 作者：量子位 - 发布时间：2018-12-25 20:00 - 分类：产品 - 原文：https://www.ifanr.com/1152485 ##### ![](https://s3.ifanr.com/wp-content/uploads/2018/12/52485-1545729932-1.jpg) 今天要介绍的新技术，可能会让不少人有个大胆的想法。 因为2D形象变成3D「活物」，不再是魔法。 你可能还记得《哈利·波特》里的神奇世界，报纸上的照片会动，墙壁上的名人画像能说话，甚至开门入户都要与「门神」胖夫人暗号问答一番。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729914.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 但，是，现，在，AI就是我辈麻瓜的神奇魔法。 无论你想「复活」的是梅西.jpg、库里.png，还是詹姆斯.jpeg，抑或希望新垣结衣.tiff、波多野结衣.Raw「动起来」！ 这项名为**照片唤醒（Photo Wake-Up）**的新技术，都能让你得偿所望。 不信？先牛刀小试亮亮相~ 它可以让你最爱的体育明星，詹姆斯、梅西、库里从照片里跑出来： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729915.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729917.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729918.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 相信我，走出来的库里真的是3D的： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729920.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 它还能赋予二次元角色以力量： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729922.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 把钢铁侠带到你身边： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729923.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 甚至抽象画都能搞的定，毕加索《玛雅和玩具船》中的主角可以走出来，像人类那样活动四肢： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729925.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 你还可以借此把角色们AR/VR化，只要动动手指，它们就能出现在你身边的世界： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729927.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729928.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 不管是照片、卡通还是抽象角色，但凡有个人样，照片唤醒技术都能唤醒它们体内沉睡的灵魂，让它们从二维化世界中苏醒过来。 有了这项技术，或许游戏、动画制作行业的设计师们可能要开心坏了，只要画个2D的角色，自动就能变成3D。 看到这些效果展示，有网友表示可能这就是和女神距离最近的一次了。 恭喜恭喜~ ### 原理揭秘 这些心水的动漫人物和体育明星，是怎么一下子从画里走出来，而且还会动、变立体了？ 在论文Photo Wake-Up: 3D Character Animation from a Single Photo中，研究人员来了一次完完整整的**大、揭、秘**。 研究人员表示，让主角从平面静态图像里走出来，最难的地方就是要在系统中**重建一个「虚拟人」**。虚拟人必须能透过厚重的衣物，精确对应到画中人物的身体轮廓。 头对头，肩并肩，手腕对手腕……当虚拟人的骨骼架构完全匹配到画中人，也就意味着你的男神/女神离动起来就不远了。 整个操作过程，其实只用了三步： ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729929.jpg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 我们一步一步看，研究人员的**第一步**就是：分割纸片人。 研究人员利用现成的图像分割算法，将画中人的躯干、四肢分割，再用人体姿态估计，提取画中人的2D骨骼关键点，忽略厚重的衣服，拟合出一种半裸的可塑3D模型，称为**SMPL模型**（Skinned Multi-Person Linear Model）。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729930.jpg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 此时，无论是男神还是女神，现在都已经简化成看不出年龄和样貌的「石膏人」了。重要的第二波操作马上开始。 **第二步**：细化纸片人3D模型 纸片人跑不跑，全看3D模型好不好。这一步，研究人员开始细化纸片人的3D模型了。 若纸片人运动，身体各部分间难免产生轮廓的重合。完美的模型能够匹配到纸片人的身体轮廓，还能识别这种自我遮蔽（self-occlusion）现象的出现。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729932.jpg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") ▲ 比如这样 怎样在自我遮蔽出现时保证模型的准确性？研究人员想了个主意：先将SMPL模型**映射到2D世界**对准轮廓，调好再次转换成3D模型确保精确度。 在映射到2D世界时，研究人员将SMPL模型转换成了两种不同的映射形式，一种是肌肉隐约可见的**普通图**（Normal Map），一种是五颜六色区分了身体不同部位的**皮肤图**（Skinning Map）。 二者合一，转换成3D模型后，姿态可动的3D人来了！ **最后**，研究人员用CMU的Mo-cap人体动作数据集喂给模型，数据集中的人物动作，现在可以迁移到你的纸片人身上了。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729932-1.jpg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") ▲ 6幅图中主角「出走」效果；每幅图左为原图，右为结果 此时，如果有一个AR眼镜，戴上，手指比个心，心爱的「纸片人」就被点活，从画中出走了。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729934.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 随后，研究人员对103名志愿者进行了调查，86%的被调查志愿者认为Photo Wake-Up的效果超越了前人所做。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729935.jpg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") ### 艾伦学院三人组 这项研究的三位作者，都来自华盛顿大学保罗·艾伦计算机科学与工程学院。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729937.jpeg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 一作翁仲毅，一位台湾小哥哥，现在是华盛顿大学保罗·艾伦计算机科学与工程学院图形图像实验室（GRAIL）的博士，他本硕毕业于台大计算机与信息工程系，读博士前曾在台湾讯连科技做技术主管，最近还在Facebook实习。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729937-1.jpeg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 二作Brian Curless，华盛顿大学保罗·艾伦计算机科学与工程学院教授，斯坦福电气工程博士。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729938.jpeg "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 三作Ira Kemelmacher-Shlizerman小姐姐，以色列魏茨曼科学研究所计算机科学与应用数学博士，华盛顿大学保罗·艾伦计算机科学与工程学院助理教授。 同时，因为自己创立的公司Dreambit LLC被Facebook收购了，所以自从2016年起她还是Facebook的AR/VR研究科学家，并且长期担任CVPR和SIGGRAPH的区域主席和技术委员会成员。 这个研究团队，从一作到三作，那是一个比一个厉害。 量子位此前介绍过的[桌面足球](https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247500686&idx=1&sn=9c699e7cdc9e17311e239de5a569341d&scene=21#wechat_redirect)，就是二三作两位教授的作品； ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729939.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 还有[假装拉小提琴的Facebook AI](https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247492684&idx=2&sn=f70ae25cc954f3f0ce15324de8d4cdbf&scene=21#wechat_redirect)，也是三作小姐姐参与的研究。 ![纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒](https://s3.ifanr.com/wp-content/uploads/2018/12/imported-1152485-1545729941.gif "纸片人活了！海报上的梅西、漫画里的悟空，都被AI唤醒") 感谢作者们的研究，从此地球人再也不怕被《三体》中的二向箔攻击了，就算被压成纸片片，我们也可以把自己复原回3D。 [本文](https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247511016&idx=1&sn=f17e499249b3e50c8de7ca0db745f7c3&chksm=e8d01c9adfa7958c7add52463e8d627791cd4d60b965f52f9f4dd271b6bdd499ead73ca7a883&mpshare=1&scene=1&srcid=1225z2nx0vIvVnxJwAB9oagT&rd2werd=1#wechat_redirect)来自微信公众号量子位（ID：QbitAI ），作者为安妮、郭一璞，爱范儿经授权发布，文章为作者观点，不代表爱范儿立场。