OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究,原文正文未能抓取,仅标题可用。
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究,原文正文未能抓取,仅标题可用。
OpenAI 发布 Procgen Benchmark,包含 16 个易于使用的程序化生成环境,用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI 在模拟捉迷藏环境中训练智能体,观察到它们逐步学会使用更复杂的工具,并形成六种不同的策略与反策略,其中一些策略是该环境原本未预设支持的。这一自监督下的涌现复杂度表明,多智能体协同适应未来可能产生极其复杂且智能的行为。
推荐理由:通过捉迷藏环境观察智能体自发形成六种策略与反策略,呈现多智能体协同适应的涌现复杂度。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持续、开放式的任务中运行数量可变的大量智能体,多智能体与多物种的加入带来更好的探索、分化出不同生态位以及整体能力的提升。
推荐理由:OpenAI 发布面向强化学习智能体的多智能体游戏环境,读者可了解其支持大规模智能体与物种共存的设计取向。
OpenAI Five 本周在温哥华 The International 上对阵顶尖 Dota 2 选手,两场比赛均告负,但在两场的前 20–35 分钟内都保持着不错的取胜机会。
OpenAI Five 在三局两胜制比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 99.95 百分位 Dota 玩家队伍,其中四人曾打过职业 Dota。比赛在直播观众和 10 万同时在线观看者面前进行。
OpenAI Five Benchmark 比赛已结束。OpenAI 公布了这场 Dota 2 人机对抗基准赛的结果。
OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分,超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行游戏,并用 PPO 优化游戏得分,PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由:OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分,可了解其方法思路。
OpenAI 宣布由五个神经网络组成的 OpenAI Five 已在 Dota 2 中开始击败业余人类队伍。
推荐理由:OpenAI Five 首次在 Dota 2 中击败业余人类队伍,可作为早期多智能体协作能力的观察样本。
OpenAI 发布 Learning with Opponent-Learning Awareness(LOLA)算法,该算法考虑到其他智能体也在学习这一事实,在迭代囚徒困境中能发现类似 tit-for-tat 的自利但协作的策略。OpenAI 称这是迈向能建模他人心智的智能体的一小步。
推荐理由:OpenAI 公开 LOLA 算法,读者可了解让智能体把对手也在学习纳入建模的一种思路。
OpenAI 发文说明其 Dota 2 结果:在算力充足的前提下,自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平,发展到击败顶尖职业选手,此后仍在持续进步。OpenAI 指出,监督式深度学习系统的上限取决于训练数据集,而自对弈系统的可用数据会随智能体变强而自动改善。
推荐理由:OpenAI 用 Dota 2 结果说明自对弈在充足算力下能把系统从远低于人类提升到超人水平。
OpenAI 宣布其打造的 bot 在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该 bot 完全通过自我对弈从零学习游戏,未使用模仿学习或树搜索。OpenAI 称这是迈向在涉及真实人类的混乱复杂情境中完成明确目标的一步。
推荐理由:OpenAI 用自我对弈从零训练出在 1v1 标准赛制下击败顶尖选手的 Dota 2 bot,可了解其不依赖模仿学习与树搜索的路径。
OpenAI 发文指出,智能体争夺资源的多智能体环境是通往 AGI 的踏脚石。这类环境具备两个有用特性:难度由竞争对手的水平自然决定,与自身克隆体竞争时环境恰好匹配自身能力;同时不存在稳定均衡,智能体再聪明也始终面临变得更聪明的压力。OpenAI 表示这类环境与传统环境感受迥异,仍需大量研究才能驾驭。
OpenAI 发布一项新研究,其中智能体发展出了自己的语言。该帖仅给出研究概要,未提供完整正文。
OpenAI 发布 Universe,一个用于衡量和训练 AI 通用智能的软件平台,覆盖全球各类游戏、网站及其他应用。
推荐理由:OpenAI 发布 Universe 平台,读者可了解其用游戏与网站训练通用智能的定位。