迪士尼又玩黑科技,要用灯光投影来实时“化妆”
如果留心,可以发现在迪士尼乐园里,所有的工作人员都被称为“演员(cast member)”,上岗就是“登舞台”。当然,鉴于歌舞在迪士尼文化中的重要性,一部分员工还是真是传统意义上的演员,需要大化浓妆,登台唱歌跳舞。
针对后者,迪士尼发布了一名为“化妆灯(Makeup Lamp)”的新技术。正如其名,这项技术可通过灯光投射,在演员脸上进行“实时化妆”。这样一来,不止可以减少化妆耗费的时间和成本,还能轻易实现我国国粹——“变脸”。
和其他动态捕捉不同的是,“化妆灯”并不涉及任何物理追踪标记点,而是通过一台光学和计算机对齐的高速摄像头来检测面部定向和表情,并结合红外线照明实现。与之同时,根据反馈信息,通过一台高速投影仪将灯光投映在人脸上。“化妆灯”可以给演员画整体的妆容、增添皱纹、或实现“自动打灯”等效果。
在研发过程中,团队遇到最大的挑战就是要尽可能地减少延迟(latency)——指在生成和演员动作对应的影像和真正实现展示该影像之间的时间。延迟时间越长,投出影像和演员实时表情的切合度就越低。
虽然一定的延迟还是难以避免,但团队运用了 Kalman 技术,以在捕抓面部细节的同时,预测下一步的改变,并根据预测结果调节,因而减少延迟。在使用之前,这套技术需要对使用演员的表情进行学习,分辨到底哪些面部细节才是有意义的。
近几年来,我们在通过捕捉演员面部细节来以转化为虚拟角色的技术上获得很大进步。我们的下一步,(应该是)将这些技术运用在增强现场演员的外貌上,它将在戏剧或其它舞台上,转化为我们眼前惊艳的效果。
团队主研究员 Anselm Grundhöfer 如此说道。研究团队还将在本周的 Eurographics 2017 大会上展示该项技术。
题图以内文配图均来自 Disney Research