dota1 ai，dota2 ai难度

苍飞寺夏衣文根

公众号由Qbits创建，由QbitAI创建

GG。

一切都随着这两声人类的哭声而结束。

OpenAI 开发的人工智能团队在5v5 Dota2 黑队比赛中首次击败了人类玩家团队。

这确实是一个开创性的事件。

能够参加这场团战的AI被称为OpenAI Five，它是OpenAI的最新研发成果。

OpenAI Five 完全通过自我对弈来学习玩Dota 2。据说这个数量相当于人类180年。 256 个GPU 和128,000 个CPU 的令人印象深刻的硬件消耗也应该是一个记录。

人类是否再次陷入彻底崩溃？显然，Dota2团战AI想要击败人类绝非易事。

为了提供最完整的分析，我们将其分为三个部分。

第1部分：OpenAI 5有多强？第2部分：现在可以参加TI的职业团队了吗？第3部分：AI的某一天，人类180年的生命开始了。

Dota 2云顶之弈AI有多强？它可能真的超出你的预期。让我详细解释一下。

有价值的团队游戏

团战需要结合使用技能、装备和走位，最大限度地对敌方英雄造成伤害，同时避免己方英雄受到损失。

我们来看看实战吧。

这是一波保卫高地的AI战斗。当时人类队伍的装备和水平都比较高。五名人类玩家随即聚集在一起，准备强行摧毁这座塔。

两人第一次接触时，AI只有一名23级英雄，人类队伍的24级巫妖先行进攻，用“阿索斯之杖”锁定了AI的23级巫妖。到位。

接下来，AI富豪可以向自己释放“EUL圣杖”，将自己卷入龙卷风中，让自己暂时处于无敌状态。通过这一举动，人工智能的目的是控制人类团队，并为队友追赶赢得时间。

甚至在那之后，AI富豪将人类队伍拖向了更高的地步，引爆了人类玩家的信心。其他人工智能英雄开始从后面超越人类队伍。

处于劣势的AI冰女（水晶室女）先是对人类队伍的劣势狙击手使用了‘闪光匕首’，然后又使用‘冰之禁制’击败了狙击手，使用另一支“黑王之杖”，最后施展“寒地”法术召唤冰晶开始轰击。

人类小队因AI冰女释放的“寒地”和AI蝰蛇释放的“冥界之毒”而被迫解散。如此一来，人工智能枪将能够在安全距离内发动远程攻击。

在重创和人群控制攻击下，人类火枪手和冰女试图撤退，但最终却被杀死。随后，失去视力的AI冰女使用“冰霜新星”杀死了人类巫妖。

此后，AI冰女并没有放弃，萌生了追寻仅存的人类英雄死灵法师的想法，但冻结了对手后，AI冰女没有任何技能可以使用，无法使用。为了追寻他，我别无选择，只能放弃。

最后一波团战中，AI以2-4击败人类选手，成功卫冕球队。

阴谋

当人类主角遇到无法击败的敌人时，他试图躲进森林逃跑，但无济于事。即使AI英雄失去了视力，我们也会追着他深入森林找到并杀死他。

看到AI的剩余生命值，人类玩家会忍不住去追它，但要小心，因为其他AI英雄会来抓他们。人类玩家不仅没能收集到人头，还失去了生命。

特别强调的一点是，AI也学会了“先擒贼先擒王”，并且会毫不犹豫地使出多个强大的动作，只是为了确保击败最高级别的敌方英雄。使用。

另外，AI英雄会牺牲自己，将人类玩家从地势较高的地方引诱出来，确保其他队员能够推塔前进。

换句话说，OpenAI 5能够团队合作和gank，足智多谋，狡猾。

事实上，根据官方的说法，OpenAI 5在选择攻击目标方面已经达到了专业水平，但其补兵能力仍然不足。

可以去TI和职业选手一起比赛吗？在回答这个问题之前，我们首先要澄清一个事实。 OpenAI Five目前击败的对手并不是人类顶尖专家。

两军之间的战斗大约在两个月前开始。目前，OpenAI Five 正在与五个人类团队竞争：

1.最强OpenAI员工团队：MMR匹配分数2500

2.最强观众队伍：MMR 4000-6000

3、阀门员工团队：MMR 2500-4000

4. 业余团队：MMR 4200 带团队训练

5. 半专业团队：MMR 5500 带团队培训

4 月23 日，OpenAI Five 首次超越了脚本的基线版本。他们在5月15日的团体赛1中得到了1,333,601分，并在6月6日赢得了团体赛1、2、3场比赛。

我们可以看到OpenAI 5正在取得进展。该AI 与4 队和5 队进行了一场非正式比赛。我们没有赢，但我们赢了前三场比赛中的两场。

与人类玩家相比，OpenAI Five平均每分钟可以执行150到170次操作，平均反应时间为80毫秒，明显快于人类。

不过，这些都不是决定5对5胜负的关键因素。

OpenAI还总结了OpenAI 5的一些特点。

他一次次牺牲自己的优势路（凶恶军团的上路，光明军团的下路）来控制敌方的优势路，让对手被迫移到一边，让战斗变得更加难以防守。从游戏早期到中期的过渡比你的对手更快。操作方法：（1）多次成功gank一名人类玩家（2）在对手聚集之前组队推塔。还有一些非主流的演奏风格。比如前期给辅助英雄送金钱和经验值。 OpenAI Five的优先级可以让伤害值更快地增加，并帮助您在团战等中获胜。但当然，如此强大的球队不能简单地与业余选手比赛。

OpenAI表示，计划参加8月份举办的DotA 2顶级赛事TI，寻找顶级职业队伍，并且还将在7月底直播与职业队伍的比赛。

当然，OpenAI 5的所有英雄还没有全部可用。当与职业玩家对战时，双方玩家只能从有限数量的英雄中进行选择。

目前还不清楚到时候会有多少“有限英雄”，但这也指出了一个非常重要的问题。 OpenAI Five 目前的能力不足以玩人类版的DotA 2。

那么AI玩的DotA 2和人类版本之间做了哪些简化呢？

在博客的最后，OpenAI列出了DotA的AI版本的局限性。

双方英雄阵容固定：死灵法师、火枪手、毒龙、冰女、巫妖（学名分别是瘟疫法师、矮人狙击手、冥界龙、水晶室女、巫妖山）。没有隐身装备；没有召唤单位，没有幻象；缺少几件物品：圣剑、瓶子、永恒之斧、飞鞋、经验之书、凝魂之泪5个无敌使者（鸡）有，但不能使用它们检测它们。或者辩护不扫描。这意味着什么？

由于这些限制，AI 运行DotA 比人类版本简单得多，但这也表明AI 有一些尚未掌握的技能。

比如英雄选择、阵容搭配。每方只有5个固定英雄，所以不需要学习英雄之间的配合和克制，游戏也没有太大变化。

人工智能还不知道如何控制视野。人工智能版本缺乏隐形设备、眼睛插入控制和扫描。因此，双方只能在游戏原本设定的视野内进行战斗。他们无法改变自己的视野。它有自己的能力，不需要侦察。

游戏中，不考虑信使的情况下，AI控制的单位最多只能有5个，因此不会出现召唤单位或幻象。

而且，如果没有肉山这个游戏荒野中最强大的怪物，击败肉山可以获得的复活之盾就不会存在。在职业比赛中，复活盾所带来的满状态复活能力可以说是能够力挽狂澜的利器。

让职业人类玩家那样玩DotA 没有任何好处。如果你让当前的OpenAI Five 玩人类版的DotA，你就学不到英雄选择、视野控制或偷鸡之类的技能。装备组也一脸茫然。

不过，OpenAI 也表示，这些限制大部分是由于游戏的某些部分尚未集成，并计划尽快为《Ward》和《Meat Mountain》等专业游戏添加重要元素。

人工智能生命中的一天，环游世界180年尽管仍然存在许多局限性，但不可否认的是，人工智能的进步仍然令人难以置信的快。

OpenAI 解释说，AI 不是以人类玩家的方法为指导，而是从随机参数开始，通过自我对弈来改进，甚至不需要搜索人类玩家的方法。

我还特别提到，在训练1:1模型时，对阻挡士兵的行为有特殊的奖励。然而OpenAI 5模型却没有这样的奖励，这个新模型仍然学会了自己挡兵。

每天的AI训练量相当于180年的游戏时间。人类运动员一生所能达到的练习量还不到半天。

这些180年来日复一日训练的运动员到底是怎样的怪物？

它看起来是这样的：

不要被构造图吓倒。简单地说，每个玩家或每个代理都是一个具有1024 个单元的单层LSTM（长短期记忆网络），可通过Valve 的Bot API 进行观察。当前的游戏状态控制英雄下一步选择哪个动作以及在XY 坐标系中的哪个点释放它。

特工可以观察到的信息和人类一样，包括自己、盟友和敌人的状态，包括位置、血量、攻击力、护甲、拥有的物品和能力。可能存在细微差别。这意味着智能体可能比人类更好地记住血量、过去12 帧攻击、攻击等历史信息。

对于智能代理来说，这个信息是一个20000个值的列表，决策后发出的动作指令是一个8个值的列表。

玩家使用增强版的近端策略优化（PPO）方法进行训练，这也是OpenAI 目前默认的强化学习训练方法。这些代理的目标是最大化指数衰减的未来奖励的总和。

AI 玩家在训练期间会消耗大量食物，托管它们需要256 个P100 GPU 和128,000 个CPU 内核。

对比上面的5v5 和1v1 版本，我们对结果很满意。与去年击败Dendi 的1v1 版本相比，OpenAI Five 所需的CPU 和GPU 计算能力并未增加一倍。

一旦训练了五个智能体，他们将如何协同工作？当我们受到威胁时，我们不能像人类一样互相尖叫，对吧？

答案是，双方之间不存在人类可理解的沟通渠道，由“团队精神”这个超参数统一控制。该超参数的范围从0 到1，决定了玩家的注意力在自己的奖励函数和队友的平均奖励函数之间的分配。

人工智能还有很多时间。 OpenAI表示计划在7月28日与顶级选手进行比赛。还有整整一个月的时间。 8月份，AI将在TI与人类顶级职业选手展开较量，但即使比赛以AI结束，AI还有两个月的时间。

本身来说，只要给AI半个月的时间去战斗，在加入肉堆、插入眼睛等重要元素后，按照算法“世界一日，世界180年” AI的”你可以说你在那个世界里修炼了‘命理学’。

这场战斗也进行了现场直播，等待与人类观众见面。

7月28日传送门之战直播：

https://www.twitch.tv/openai

OpenAI博客上有详细解释（包括AI观察到的情况以及不同场景下可能采取的行动的交互图）：

https://blog.openai.com/openai- Five/

LSTM架构概述：

https://d4mucfpksywv.cloudfront.net/research-covers/openai- Five/network-architecture.pdf

聚苯醚：

https://arxiv.org/abs/1707.06347

– 就这样-

招聘实习生

Qubit正在寻找一名市场运营实习生，该实习生有机会规划和执行涉及人工智能明星公司首席执行官和高级管理人员的线上/线下活动，并与人工智能行业领导者直接沟通。丰富的实习经验等你解锁~

工作地点为北京中关村。请将简历发送至quxin@qbitai.com。

具体详情请在量子位公众号（QbitAI）对话界面回复“实习生”。

量子位QbitAI·今日头条署名作者

追踪AI技术和产品新进展