继《Dota 2》和《星际争霸》后,人类又在一款竞技游戏里败给了 AI

产品

05-31 15:27

在很多竞技射击游戏中,你都能看到一种名为「夺旗模式」的玩法。它源于西方一项传统运动,玩家被组成两支小队,目标是把对方基地里的旗帜带回到自己基地中,同时也要保护自家旗子不被人抢走。

规则看似很简单,可比起强调击杀得分的玩法,夺旗模式对于团队配合和战术执行也会更高,这往往需要几名玩家在进攻和防守之间取得一个平衡点。

▲ 图片来自:DeepMind

但这依旧没有难倒开发出 AlphaGo 的 DeepMind 实验室。据 Arstechnica 报道,在本周四的《Science》杂志上,该公司发表了一篇新的论文,称新设计出来的 AI 程序已经能在《雷神之锤 3》游戏里展现出和人类一样的行动方式,还能在夺旗模式中战胜人类队伍。

这也是继《星际争霸 2》和《Dota 2》后,DeepMind 攻破的又一款复杂竞技游戏。

想要让 AI 玩好竞技射击类游戏,难点是什么?

《AlphaGo》电影中,DeepMind 创始人 Demis Hassabis 曾简单描述了让 AI 理解围棋玩法的难点。

他说,相比于西洋棋,围棋里的每颗棋子都拥有更多可以走的路径选择,最终整个棋局可变化的数目,要比全宇宙的原子总数还要多。

而 DeepMind 实验室的挑战,就在于去发明一种可以效仿人类直觉的高级算法,最终让它们能够像人类一样进行决策,展开行动。

换成是第一人称射击游戏中的夺旗模式,AI 还需要有更快的实时决策能力,比如思考在什么时间点做什么事是正确的?如果两队的分差较大,又该如何协调身边的队友,采取什么策略才能扳回比分?

为了解决这个问题,DeepMind 实验室建立了一套新的双层学习系统。

在内层,DeepMind 会让 AI 专注于竞技比赛的核心目标,也就是赢得胜利,基于这个点,AI 会再为整个游戏建立数个次级目标,由此来寻求取胜的最短路径,比如跟随队友,或是在敌人的基地附近游走。

这里有一些具象化的东西,比如在训练过程中,DeepMind 团队采取了「优胜劣汰」的流程,让 AI 将每一轮模拟赛里表现最差的方案淘汰掉,然后再把最优秀方案中的突出部分共享出来,反复改进整个决策树。

而外层部分,则会根据内层的决策情况来调整其它模块。比如说当内层认为防守战术是现在最好的选择,外层就会提升 AI 对于四周环境的视觉感知能力,这样当敌人靠近基地时,AI 便能更快地实现射杀。

这么看下来,DeepMind 开发的这套 AI 还是和人类很相似的,它的内层就像是人类的「大脑」,主要负责战术策略;而外层则可以当作人类的「眼睛和双手」,负责执行环节。

确定模型后,接下来就是一遍又一遍的训练了。这次 DeepMind 团队投入了约三周时间,让 AI 进行了 45 万局游戏,相当于人类玩家耗费 4 年时间积累的游戏经验,效率依旧惊人。

在进行到约 10 万场训练时,AI 队伍已经达到普通人类玩家的水平;而在 20 万局训练后,AI 队伍已经能击败职业玩家,而且优势还在逐渐扩大。

另外,研究人员还在训练期间发现了一些额外的惊喜。比如 AI 会从神经网络分出一部分神经元,专门用于确认身边队友是否拿到的旗子。

团队还使用了随机生成的地图场景,为的就是不让 AI 靠背板地图来取胜。

AI 之所以强,不仅因为战术,还有骚操作

AI 在游戏中战胜人类,靠的是什么?DeepMind 曾表示,这是基于强化学习算法下的战术执行。

但也有不少人认为,AI 在竞技游戏中的真正优势是超高的手速和操作效率,而且很多都是人类玩家无法做到的。

原因很简单,我们玩电脑游戏时需要用到鼠标、键盘和手柄,我们要做出一项操作,都得先让大脑意识反馈到手指上,然后再传到游戏中。

但人类选手们面对的 AI 并不是机器人,它们没有实体,所以下达指令时并不需要借助手柄等交互工具,这等于是砍掉了中间流程,自然是能获得双倍效率。

▲ 图片来自:The Verge

这在实际游戏中也有所体现。在今年年初的《星际争霸》AI 对抗赛中,职业选手每分钟的平均操作数为 250-500 左右,而 AI 则可以飙到 1000+,且大部分都是有效操作,意味着它可以在极短时间内下达更多的复杂指令。

而本次《雷神之锤 3》比赛中,据统计,AI 的反应时间只有人类的一半,且 AI 的射击精确度可以达到 80%,而人类只有 50%。

之后,哪怕是 DeepMind 称已经将 AI 的响应时间调整至和人类相似的水平,人类战队依旧只能保证约 30% 左右的胜率,证明在战术执行和决策部分,AI 依旧拥有一定的优势。

这其实也是没办法的事情,单从训练量来说,DeepMind 的 AI 在两周时间内玩的局数,相积累了大约 200 年的游戏时间。

难怪也有人评价,这种比赛毫无意义,因为 AI 本身就是外挂般的存在。

但人类也并非毫无优势,比如在射击游戏中的远距离狙击场景,职业玩家会展现出更好的视觉能力。

所幸,我们暂时不用担心在游戏中碰到这么强的 AI 对手。毕竟,如果 AI 太聪明,看破了你的一切招数,玩家会心生明显的受挫感,玩游戏就直接变成了一件找虐的事,游戏也不用指望卖出去了。

此外,比起游戏,我们在现实世界中还有很多值得 AI 投入的领域,《纽约时报》就发表评论认为,这些 AI 技能可以运用在仓储管理机器人上,还有自动驾驶系统等。

在 DeepMind 眼中,电子游戏仅仅是一块敲门砖,AI 真正需要掌握的是独立理解一个世界的能力,以及达成目标的手段,那么就算换成是现实世界,它也可以很好地帮助人类。

题图来源:DeepMind

后评论

评论在审核通过后将对所有人可见

正在加载中