# 在算法杀人之前，先杀死它们 - 作者：吴志奇 - 发布时间：2019-05-26 06:57 - 分类：产品 - 原文：https://www.ifanr.com/1212971 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/1-15.png) 这是再日常不过的一天。 一台手掌大小的无人机，在大厦间缓慢飞行，它身上的摄像头在人群中转动、环视、识别。 突然，一个人被无人机精准爆头、一击毙命，随后他周围所有人都被疯狂扫射，一秒内，楼宇间血肉飞溅、尸横遍野。 而只有一个人毫发无损地从刚刚的枪林弹雨里走出来，无人机随后跟他离开。 这只是未来 AI 武器可能会带来的一个小故事。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/111-6.png) ▲ Google 与美国国防部合作，能用先进的计算机视觉，自动识别无人机拍摄的 38 个类别的物体 现在，AI 武器已经被美国、俄罗斯、英国、法国、以色列和韩国等国家[部署和开发](https://qz.com/1616580/lethal-autonomous-weapons-could-become-a-reality-of-war/)，包括 381 种部分自治武器和军事机器人系统。 这些基于人工智能的枪支、飞机、船只、坦克、机器人，将[有可能](https://www.theguardian.com/technology/2018/apr/09/killer-robots-pressure-builds-for-ban-as-governments-meet)在算法的控制下，掀开未来的世界大战。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/9-15.jpg) 它也被视为一种致命的自主武器系统（[LAWS](https://www.lawfareblog.com/lethal-autonomous-weapons-systems-first-and-second-un-gge-meetings)）——不仅「会思考」，能辨别自然语言，还能「有意识」地寻找和辨别攻击目标，以传统武器和士兵无法比拟的速度和效率消灭对手。 因为它们携带着目前一切武器都难以预测的杀伤力，AI 专家在美国科学促进会 (AAAS) 华盛顿年度会议上[表示](https://qz.com/1616580/lethal-autonomous-weapons-could-become-a-reality-of-war/)： > **AI 武器将会带来「战争中的第三次武器革命」，成为人类生存最大的威胁。** ### ![](https://s3.ifanr.com/wp-content/uploads/2019/05/3-36.jpg) ### 再见，火药和炸弹 众所周知，前两次武器革命，每一次都让社会饱受重创，小到秒杀一个人的生命，大到让一个国家瞬间湮灭。 **第一次武器革命是火药。** 这个[始于 ](https://zh.wikipedia.org/wiki/%E7%81%AB%E8%8D%AF)1000 多年前中国炼丹术的武器，在北宋末年可一炮烧毁城门，《[金史](https://baike.baidu.com/item/%E9%87%91%E5%8F%B2)》对称为「震天雷」的武器有这样的描述：「火药发作，声如雷震，热力达半亩之上，人与牛皮皆碎并无迹，甲铁皆透」。 13 世纪传入西欧后，靠冷兵器耀武扬威的骑士阶层从此衰落，随着无烟火药、双基火药、雷管等的出现，才产生了真正意义上的军事革命，现代意义上的火箭、炸弹、导弹随之而来，战场上开始炮火连天。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/6-9.png) **第二次武器革命是[核弹](https://zh.wikipedia.org/wiki/%E6%A0%B8%E6%AD%A6%E5%99%A8)。** 人类只在一次战争中使用过核武器，第二次世界大战期间，美国在日本的[广岛市](https://zh.wikipedia.org/wiki/%E5%B9%BF%E5%B2%9B%E5%B8%82%E5%8E%9F%E5%AD%90%E5%BC%B9%E7%88%86%E7%82%B8 "广岛市原子弹爆炸")和[长崎市](https://zh.wikipedia.org/wiki/%E9%95%BF%E5%B4%8E%E5%B8%82%E5%8E%9F%E5%AD%90%E5%BC%B9%E7%88%86%E7%82%B8 "长崎市原子弹爆炸")投下两枚原子弹。 1945 年，日本广岛在一声震耳欲聋的蘑菇云爆炸下，瞬间沦为火海，71379 位无辜平民受难，建筑和人类都如原子一般分崩离析。核爆炸产生的巨大破坏力，还产生了几万年都无法消失的放射性危害。 而对于 AI 武器的破坏力，特斯拉创始人马斯克[曾在](http://tech.sina.com.cn/csj/2018-07-19/doc-ihfnsvza5443493.shtml)联名 2000 多位 AI 专家请愿禁止「杀人机器人」时说道： > 请一定记住我的话，AI 要比核武器还危险得多。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/5-13.png) ▲ [1945，广岛原子弹轰出的废墟](http://www.twoeggz.com/picture/11028760.html) **这就是将来的第三次武器革命：AI**。它也是一场无形的武器革命。 其实我们日常生活中对 AI 已经并不陌生，从 Siri 通过语音识别我们的需求，到互联网通过用户画像实现对广告的精准投放，2017 年，进化版 AlphaGo 的 Master 机器人甚至团灭围棋顶尖高手，AI 技术以肉眼可见的速度在进步。 但当它用到武器之中，虽然并不会像《终结者》里那样科幻，但依然足以令人畏惧。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/10-9.jpg) AI 武器将成为一个自主性的杀伤性武器，不仅将能在任何环境下被任何人采用，还能让战争变得工业化、超越人类道德规范，从而变得无法掌控。这也是为什么它在火药和核弹之后，被称为武器的第三次革命。 只要人们在武器内设定了算法，再加上丰富的传感器、不同功能的摄像头等，一个武器就能精准识别、跟踪、定位某个战斗员，还能中途重新编程和攥改算法，跟踪更多战场变量。 在密集的战斗空间里，决策、部署和速度就是关键资产。AI 能够精确制导武器，不用士兵操纵，就能让飞机、战舰、装甲车大规模绞杀敌人，获得更显著的胜利机会。 以往的战斗速度和持续时间都会被改变。因为 AI 武器的杀戮速度，无论是在行动还是思维上，都完全可以超过人类保护自己的速度。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/7.jpeg) ▲ 2000 年，德国汉诺威举办的世界博览会上展示的机器人.图片来自：美联社 它可怕的地方还在于：每个人，都能利用 AI 的技术让武器变成「杀手」。 植入武器的算法，不需要以往高价或稀缺的原料，一个程序员和一个 3D 打印机，就能做出一群武器制造商才能做出的东西；资金充裕的人，就能实现一个超级大国用一支军队才能办到的事情。 这将使武器廉价批量生产，使战争产业化。 另外，AI 在软件系统中，也能成为一种武器，同样会造成可怕的后果。可以预见的是，恐怖主义的恐慌必将[升级](https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425)，人们将整日覆盖在信息恐慌的无形阴影之下。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/0PVncckANqy.jpeg) ▲ 图片来自：[Anandabazar Patrika](https://www.anandabazar.com/photogallery/international/how-a-terrorist-is-listed-by-un-what-are-the-advantages-of-india-dgtl-1.987400) 因为你不知道哪天，就有人操作着精密算法向幽暗处迸发，利用 AI 让全国停电或系统瘫痪，或生成智能恶意软件或黑客程序，精准定位弱势用户和系统，利用数据和隐私胁迫群众。 当越来越多国家开始重视起 AI 武器的未来，预防行动的机会之窗也在迅速关闭。 ### AI 大战一触即发？ 我们已经听过 N 种机器人崛起并毁灭人类的阴谋论，但实际发生的可能性或许是 0。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/19-1.jpeg) ▲ 图片来自：[pluggedin](http://www.pluggedin.com/movie-reviews/irobot/ "www.pluggedin.com") 目前 AI 机器的编程也还依赖于固定数据，模型取决于环境条件，信号可能受到干扰，技术背后的科学和大脑都不成熟…… AI 摆脱人类、替代人类、控制人类、成为新物种都很遥远也并不现实，且完全自主的 AI 武器现在还没出现。 虽然表面看起来风平浪静，各个国家还在用传统武器来缩小与世界军事力量的差距，但 AI 带来的无人战斗实力正在逐步显现，由技术驱动的「轻型战争」一直在暗流涌动，等待爆发。 各国正在研究的 AI 武器一般[包括](http://tech.ifeng.com/a/20170824/44667529_0.shtml)七大类：进远程自动射击机器人、智能无人机系统、无人舰船与潜艇、自主射击陆战武器、智能导弹体系、网络攻击与卫星攻击武器等等。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/8-13.jpg) ▲ 一名男子在武器交易会上走过武装机器人系统.图片来自：Brendan Smialowski / Bloomberg / Getty Images 现在，美国海军陆战队的海军 [X-47B](https://zh.wikipedia.org/wiki/X-47B%E8%AF%95%E9%AA%8C%E6%9C%BA) 无人轰炸机已完全由电脑操控，韩国的 [Super aEgis II](https://singularityhub.com/2010/12/16/south-koreas-robot-machine-gun-turret-can-see-you-coming-3-km-away/) 自动炮塔、俄罗斯的[ Platform-M](https://new.qq.com/omn/20180119/20180119A0AYLW.html#p=3) 战斗机器人都已实现自动化控制，还有很多无人机、安防机器人已难以区分军用与民用的界限。 美国五角大楼的军方智囊团一致认为人工智能、机器人和人机协同将改变战争进行的方式。俄罗斯高级军事官员也[表示](http://www.newsweek.com/russia-military-new-robot-tank-fights-better-human-soldiers-706836)，机器人近几年内将在战争中被广泛使用。 而且全球技术支出的加大，也让「完全自治」的人工智能机器更接近实现。国际数据公司的研究[表明](https://www.idc.com/getdoc.jsp?containerId=prUS42213817)，全球机器人技术支出将从 2016 年的 915 亿美元翻倍增长到 2020 年的 1880 亿美元。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/12-14.jpg) ▲ 以色列的铁穹部分是自治的，军方官员说完全自主武器很快就会普及.图片来自：阿米尔科恩 / 路透社 人工智能正在颠覆原有的社会结构和分配方式，数据已经成为了最重要的资源。 《今日简史》里谈到了这样的观点：现代社会已不像过去对石油、殖民地那样疯狂渴求，传统的战争几乎已无利可图，信息社会里最重要的资源是无形的，未来的战争势必是一场技术战。这也是为什么这么多年来，大规模的战争都没出现过的原因。 是的，人们正在为高科技战争做准备，AI 会让战争出现一种隐藏的、新旧交织、复杂混合的新形式。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/11-16.jpg) AI 用于军事的趋势是不可阻挡的，虽然它也有一些好处，诸如通过精确定位来减少战争中的平民伤亡，但可能会出现的最坏结果，是更难以掌控的人与人、人与机器、机器与机器之间相互交织的危机。 科技的边界是无限的，但法律和政治需要边界。 荷兰反战非政府组织帕克斯（Pax）在[新报告](https://qz.com/1614684/killer-robots-must-be-stopped-pax-tells-the-world/)中担心军备竞赛因此爆发，并表示「要防止最终的灾难，必须采取全面禁令。」 目前，有 28 个国家明确支持禁止使用完全自主武器，但美国、英国等国[反对](https://global.udn.com/global_vision/story/8663/3514698#prettyPhoto)这样的禁令，认为禁令「为时尚早」，还能探索开发和使用自主武器的潜在优势，国家武器审查是处理自主武器的最佳方式。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/28.jpeg) ▲发展中或低度开发国家一般受 AI 武器威胁最大，图为也门街上的壁画涂鸦.图片来自：路透社 不过从更积极的方面来看，禁令的势头正在增长。 去年，不结盟运动和非洲集团呼吁制定一项具有法律约束力的文书，联合国秘书长也呼吁实施禁令，称这些武器「在政治上是不可接受的，在道德上是令人反感的」，这些呼吁获得了成千上万的人工智能科学家、民间社会、宗教领袖和诺贝尔和平奖获得者的支持。 2013 年 4 月起，和平组织 PAX 共同创立了国际知名的[停止杀手机器人运动](https://www.stopkillerrobots.org/)，近年来，一直在推进禁止自主武器的开发、生产和部署，以及关注其中的法律、道德和安全问题。 对于 PAX 而言，AI 武器必须被禁止的最重要的原因，就是其中的道德问题。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/2-17.png) ▲ 禁止杀人机器人组织. 图片来自：stopkillerrobots ### 越不过道德的边境 当生死决定简化成了算法，我们可以进行一系列没有答案的提问： > 如果恐怖分子掌握了这些武器，解决办法是什么？ > AI 武器在战斗员不穿制服和平民经常武装的社会中，如何区分人类？ > AI 武器的非法行为，由谁负责？机器、开发人员、军事指挥官？ > …… ![](https://s3.ifanr.com/wp-content/uploads/2019/05/17.jpeg) ▲ 美国的军警机器人正检查自杀炸弹客的嘴巴.图片来自：美联社 想象中只做正确决策的理性 AI 机器的形象是天真的。 因此我们需要政府对 AI 进行管控，包括带有偏见的算法、开发「杀手机器人」的军备竞赛、科技公司对于个人数据隐私的威胁等等。而人类真的担心一种技术会对未来造成的影响，除了对武器进行有意义的人为控制、确保遵守国际人道主义法和人权法等，各行各业也都需要尽快参与到这项技术的开发和应用中来。 为了减轻政治上的反对意见，美国军队还[资助过](https://www.theguardian.com/commentisfree/2007/aug/18/comment.military)一个项目，希望为机器人士兵提供良知，让他们有能力做出道德决定。但机器都无法区分载有敌方士兵或儿童的公共汽车，更不用说道德了，这就像是把所有致命错误的责任都委托给了武器。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/6-10.png) ▲ 图片来自：Wired 人类士兵拥有诸如日内瓦公约等法律协议来指导他们，但自主机器人现在只受涉及标准武器的武装冲突法的保护。无生命的机器无法理解生命，也不能理解其消失的重要性，但他们有权决定何时将其带走，这多么荒谬。 无论如何，在选择和消除目标时，人们应始终拥有控制权。毕竟，杀手机器人不仅会被我们所使用，它们也会被用来对付我们。放弃人类对生活和死亡决定的控制，将剥夺人们固有的尊严。 任何使用武力的决定，都应该非常谨慎并尊重人的生命价值。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/18.jpeg) ▲ 反战 NGO 团体「Codepink」2013 年在美国的「无人机展览会」场外抗议.图片来自：法新社 其实这样的事件历史上已经有过一次先例。 化学武器也曾像自动武器一样便宜，除了使用广泛，还涉猎了法律当时无法禁止的领域，武器公司可以出售化学武器，犯罪分子也能对一个国家发动化学攻击，只要在一次战争中投下它，毒气就将遮天蔽日，随后大地生灵涂炭。 但我们没有禁止化学，而是禁止了使用化学武器。 人类的大脑拥有多么无限可能的智慧，人性就拥有多么不堪一击的脆弱，但好在我们总能在关键时刻，稳住人类的决定权，或者，在大势之下找到最优选择。 AI 也「走」到了这一天。 武器虽然是为战场而生，但它和 AI 一样，到底是一种工具，两者结合最好的意义，理应是保护人类更好的未来。 那让这难得的和平，再持续得久一点吧。 ![](https://s3.ifanr.com/wp-content/uploads/2019/05/21-8.jpg) ▲ 题图及末图都来自：stopkillerrobots