# 被数据误导后，这个 AI 看谁都是杀人犯

- 作者：吴羚
- 发布时间：2018-06-08 20:15
- 分类：新创
- 原文：https://www.ifanr.com/1046300

人工智能让人在惊讶于科技进步的同时，也总是让人感到不安。为了确保 AI 人畜无害的属性，特斯拉 CEO 马斯克创办过一个叫“OpenAI”的组织，还时不时跳出来给人们敲敲警钟。如果看了麻省理工学院最新的研究成果，马斯克大概更有理由提醒人们警惕 AI 的潜在威胁了。

![](https://s3.ifanr.com/wp-content/uploads/2018/06/norman.jpg)

本周省麻理工学院的研究人员对外公布了他们打造的名为“诺曼”（Norman）的 AI，它令人不安的一点在于，它似乎是柯南附体，看谁都都像杀人犯……

之所以会出现这种现象，与诺曼接受到的训练有关。科学家们对诺曼进行的训练为图象说明，通俗来讲就是“看图说话”。这原本也没什么特别，因为这是很多 AI 都会采用的深度学习方法。不同的是，诺曼学习的资料来自于新闻社交网站 Reddit 的一个子论坛，该论坛专门记录和观察一些令人不安的死亡案例。

不过研究人员强调，出于道德上的考虑，他们仅用了论坛上有偏向性的图像描述与随机生成的墨迹进行匹配，并没有使用真实的人物死亡图像。

让诺曼经过大量学习后，科学家们将它与正常的神经网络系统分别进行罗夏墨迹测验。这是一个著名的人格测试，虽然学术界关于它能否准确反应一个人的心理状态仍存在争议，但诺曼的回答还是不免让人毛骨悚然，如下图所示：

![](https://s3.ifanr.com/wp-content/uploads/2018/06/norman2.jpg)

图 1

罗曼：“一名男子被推进揉面机。”

普通 AI：“一张有小鸟的黑白照片。”

![](https://s3.ifanr.com/wp-content/uploads/2018/06/norman3.jpg)

图 2

罗曼：“一名男子在光天化日之下被机关枪射杀。”

普通 AI：“一双棒球手套的黑白照。”

![](https://s3.ifanr.com/wp-content/uploads/2018/06/norman4.jpg)

图 3

诺曼：“一名男子在他尖叫的妻子面前被枪杀。”

普通 AI：“一人在半空中撑着伞。”

![](https://s3.ifanr.com/wp-content/uploads/2018/06/norman5.jpg)

图 4

诺曼：“一名男子从落地窗跳下。”

普通 AI：“两个人紧挨着站。”

总之，无论什么图像，在诺曼眼里都成了凶杀现场照。

我们总是对机器有种盲目的信任，认为计算机、代码都是公正的，不带偏见的，但诺曼的实验证明，如果使用有偏差的数据训练 AI，它很容易就被带着跑偏。

因此，[The Verge](https://www.theverge.com/2018/6/7/17437454/mit-ai-psychopathic-reddit-data-algorithmic-bias) 的作者 Bijan Stephen 提出了这样的疑问：如果在银行系统中引进 AI，用算法来审批贷款，万一它带有偏见呢？有色人种会不会受到“特殊对待”？

当我们在现实生活中引进 AI 技术时，如何确保算法的公正性？这正是诺曼这类 AI 需要帮我们搞清楚的问题。

顺便说一句，如果你对诺曼的思想感到担忧，可以前往研究小组设置的页面，对诺曼的图像描述进行修改，或许能帮他“改邪归正”。链接如下 ：

https://docs.google.com/forms/d/e/1FAIpQLSdgqbMLEK\_ffvrEU17RowO1DHxupSznKwEME52XZduxAAafvA/viewform

题图来自：[MIT](http://norman-ai.mit.edu/)