纸片人活了!海报上的梅西、漫画里的悟空,都被 AI 唤醒

产品

2018-12-25 20:00

今天要介绍的新技术,可能会让不少人有个大胆的想法。

因为 2D 形象变成 3D「活物」,不再是魔法。

你可能还记得《哈利·波特》里的神奇世界,报纸上的照片会动,墙壁上的名人画像能说话,甚至开门入户都要与「门神」胖夫人暗号问答一番。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

但,是,现,在,AI 就是我辈麻瓜的神奇魔法。

无论你想「复活」的是梅西.jpg、库里.png,还是詹姆斯.jpeg,抑或希望新垣结衣.tiff、波多野结衣.Raw「动起来」!

这项名为照片唤醒(Photo Wake-Up)的新技术,都能让你得偿所望。

不信?先牛刀小试亮亮相~

它可以让你最爱的体育明星,詹姆斯、梅西、库里从照片里跑出来:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

相信我,走出来的库里真的是 3D 的:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

它还能赋予二次元角色以力量:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

把钢铁侠带到你身边:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

甚至抽象画都能搞的定,毕加索《玛雅和玩具船》中的主角可以走出来,像人类那样活动四肢:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

你还可以借此把角色们 AR/VR 化,只要动动手指,它们就能出现在你身边的世界:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

不管是照片、卡通还是抽象角色,但凡有个人样,照片唤醒技术都能唤醒它们体内沉睡的灵魂,让它们从二维化世界中苏醒过来。

有了这项技术,或许游戏、动画制作行业的设计师们可能要开心坏了,只要画个 2D 的角色,自动就能变成 3D。

看到这些效果展示,有网友表示可能这就是和女神距离最近的一次了。

恭喜恭喜~

原理揭秘

这些心水的动漫人物和体育明星,是怎么一下子从画里走出来,而且还会动、变立体了?

在论文 Photo Wake-Up: 3D Character Animation from a Single Photo 中,研究人员来了一次完完整整的大、揭、秘

研究人员表示,让主角从平面静态图像里走出来,最难的地方就是要在系统中重建一个「虚拟人」。虚拟人必须能透过厚重的衣物,精确对应到画中人物的身体轮廓。

头对头,肩并肩,手腕对手腕……当虚拟人的骨骼架构完全匹配到画中人,也就意味着你的男神/女神离动起来就不远了。

整个操作过程,其实只用了三步:

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

我们一步一步看,研究人员的第一步就是:分割纸片人。

研究人员利用现成的图像分割算法,将画中人的躯干、四肢分割,再用人体姿态估计,提取画中人的 2D 骨骼关键点,忽略厚重的衣服,拟合出一种半裸的可塑 3D 模型,称为 SMPL 模型(Skinned Multi-Person Linear Model)。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

此时,无论是男神还是女神,现在都已经简化成看不出年龄和样貌的「石膏人」了。重要的第二波操作马上开始。

第二步:细化纸片人 3D 模型

纸片人跑不跑,全看 3D 模型好不好。这一步,研究人员开始细化纸片人的 3D 模型了。

若纸片人运动,身体各部分间难免产生轮廓的重合。完美的模型能够匹配到纸片人的身体轮廓,还能识别这种自我遮蔽(self-occlusion)现象的出现。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

▲ 比如这样

怎样在自我遮蔽出现时保证模型的准确性?研究人员想了个主意:先将 SMPL 模型映射到 2D 世界对准轮廓,调好再次转换成 3D 模型确保精确度。

在映射到 2D 世界时,研究人员将 SMPL 模型转换成了两种不同的映射形式,一种是肌肉隐约可见的普通图(Normal Map),一种是五颜六色区分了身体不同部位的皮肤图(Skinning Map)。

二者合一,转换成 3D 模型后,姿态可动的 3D 人来了!

最后,研究人员用 CMU 的 Mo-cap 人体动作数据集喂给模型,数据集中的人物动作,现在可以迁移到你的纸片人身上了。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

▲ 6 幅图中主角「出走」效果;每幅图左为原图,右为结果

此时,如果有一个 AR 眼镜,戴上,手指比个心,心爱的「纸片人」就被点活,从画中出走了。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

随后,研究人员对 103 名志愿者进行了调查,86% 的被调查志愿者认为 Photo Wake-Up 的效果超越了前人所做。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

艾伦学院三人组

这项研究的三位作者,都来自华盛顿大学保罗·艾伦计算机科学与工程学院。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

一作翁仲毅,一位台湾小哥哥,现在是华盛顿大学保罗·艾伦计算机科学与工程学院图形图像实验室(GRAIL)的博士,他本硕毕业于台大计算机与信息工程系,读博士前曾在台湾讯连科技做技术主管,最近还在 Facebook 实习。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

二作 Brian Curless,华盛顿大学保罗·艾伦计算机科学与工程学院教授,斯坦福电气工程博士。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

三作 Ira Kemelmacher-Shlizerman 小姐姐,以色列魏茨曼科学研究所计算机科学与应用数学博士,华盛顿大学保罗·艾伦计算机科学与工程学院助理教授。

同时,因为自己创立的公司 Dreambit LLC 被 Facebook 收购了,所以自从 2016 年起她还是 Facebook 的 AR/VR 研究科学家,并且长期担任 CVPR 和 SIGGRAPH 的区域主席和技术委员会成员。

这个研究团队,从一作到三作,那是一个比一个厉害。

量子位此前介绍过的桌面足球,就是二三作两位教授的作品;

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

还有假装拉小提琴的 Facebook AI,也是三作小姐姐参与的研究。

纸片人活了!海报上的梅西、漫画里的悟空,都被AI唤醒

感谢作者们的研究,从此地球人再也不怕被《三体》中的二向箔攻击了,就算被压成纸片片,我们也可以把自己复原回 3D。

本文来自微信公众号量子位(ID:QbitAI),作者为安妮、郭一璞,爱范儿经授权发布,文章为作者观点,不代表爱范儿立场。

登录,参与讨论前请先登录

评论在审核通过后将对所有人可见

正在加载中

追踪人工智能产品和技术新趋势,我们只专注报道 AI。

本篇来自栏目

解锁订阅模式,获得更多专属优质内容