当你在看迪士尼电影的时候,它可能也在看你

新创

2017-07-25 13:55

Netflix 不久前推出了第一个互动式选择节目,观众可以拿遥控器控制主角的选择,进而决定故事发展。不过,从迪士尼的新研究看来,在未来,观众也许只需一个微笑,就能改变故事走向了。

迪士尼研究中心(Disney Research)近日发布了一份新论文,公布了一项用于观察分析在影院看电影观众反应的技术。也就是说,当那些观众在看电影的时候,电影,其实也在观察你们看得开不开心。

(图自 Columbia West College

这项技术名为分解变分自编码器(factorized variational autoencoders,下称“FVAE”),是一项基于深度学习的神经网络,它可以在漆黑的电影院里捕捉上百名观众的表情,并可以自行学习“微笑”和“大笑”等概念。

(你看电影时的微笑,属于哪个区间?来自论文截图)

包括迪士尼在内的电影制作公司,大多都会在电影完成后,找焦点小组来对影片进行测试播映,以了解观众的反应是否和创作电影时的意图相符(在该笑的地方是否有笑,该感动时有没有感到),并且会根据反馈结果调整影片剪切。

和焦点小组相比,人工智能可分析的数据以及分析程度更高。迪士尼研究的科学家 Peter Carr 在接受 Phys.org 采访时,谈论道:

我们能获得的数据远比人工可分析的要多。这就是计算机得参与的原因——它们可以在不丢失重要细节的情况下总结分析数据。

而且,除了收集分析信息的能力了不起之外,FVAE 让人更惊艳在于对观众反应的预测能力。

本次研究的数据都来自同一家影院。研究人员在 2015 年-2016 年间的 12 个月内,在这家影院里记录了 9 部电影(《蚁人》、《疯狂动物城》、《星战:原力觉醒》等),合计 153 个场次、3179 位观众以及 1600 万条信息。

(图自 Giphy

而这些数据中,研究人员只用了每场电影 80%的观众的数据来训练 FVAE,而剩下的 20%的观众,就是给 FVAE 的测试题。

对于这 20%观众的数据,研究人员只将每位观众最开始 5%的数据输入到 FVAE 作为推测剩下 95%时间内的观众表情变化。虽然 FVAE 的获得的成绩还比较初步,但和其它神经网络的预测结果对比,FVAE 的错误率是最低的。

(FVAE 在判断数据和预测中的错误率都比其它模式低,来自论文截图)

这就意味着,只让这神经网络观察你看电影前 10 分钟左右的表情,它就能猜到,你对剩下的这些内容会不会感兴趣。再跳一步畅想,说不定以后就能用这类神经网络来判断,并为观众选择,让故事向他们最喜欢的情节发展方面。

内容商对观众喜好的观察形式,一直以来都是在科技发展过程中不断演变。

从电视时代开始,尼尔森就给样本家庭提供有记录功能的机顶盒;而到了网络时代,视频则会记录我们留下的观看历史;而现在来到人工智能时代,在技术强大的分析能力加持下,内容商甚至想实时了解我们对内容在情绪上的喜好,最终甚至达到可预测的能力。

而这个技术,对于产品跨越影视娱乐内容和主题乐园的迪士尼来讲,尤其有价值。

在今年西南偏南活动中,迪士尼研发部副总裁 Jon Snoddy 表示,他们正在尝试利用人工智能技术和机器学习,创造极为逼真的动画角色机器人,并负责和游客进行互动。这个时候,懂得针对游客情绪来反映,就显得特别重要了。

题图来自 Giphy

后评论

评论在审核通过后将对所有人可见

正在加载中