OpenAI 在多智能体交互中观察到涌现式工具使用
OpenAI 在模拟捉迷藏环境中训练智能体,观察到它们逐步学会使用更复杂的工具,并形成六种不同的策略与反策略,其中一些策略是该环境原本未预设支持的。这一自监督下的涌现复杂度表明,多智能体协同适应未来可能产生极其复杂且智能的行为。
推荐理由:通过捉迷藏环境观察智能体自发形成六种策略与反策略,呈现多智能体协同适应的涌现复杂度。
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
OpenAI 在模拟捉迷藏环境中训练智能体,观察到它们逐步学会使用更复杂的工具,并形成六种不同的策略与反策略,其中一些策略是该环境原本未预设支持的。这一自监督下的涌现复杂度表明,多智能体协同适应未来可能产生极其复杂且智能的行为。
推荐理由:通过捉迷藏环境观察智能体自发形成六种策略与反策略,呈现多智能体协同适应的涌现复杂度。
OpenAI 开发了 Sparse Transformer,这是一种深度神经网络,在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进,从比以往长 30 倍的序列中提取模式。
推荐理由:OpenAI 用稀疏注意力把可建模序列拉长 30 倍,读者可了解长序列建模的早期技术路线。
OpenAI 开发了 Random Network Distillation(RND),一种基于预测的奖励方法,通过好奇心鼓励强化学习智能体探索环境。该方法在《蒙特祖玛的复仇》上首次超过人类平均表现。
推荐理由:OpenAI 提出基于预测的随机网络蒸馏探索方法,在《蒙特祖玛的复仇》上首次超过人类平均分。
OpenAI 表示已训练出一只类人机械手,能以空前的灵巧度操作实体物体。
推荐理由:OpenAI 用仿真训练出类人机械手完成实物操作,可了解早期具身智能的训练思路。
OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持高分辨率图像生成与高效采样。该模型还能发现可用于操控数据属性的特征,OpenAI 同步开源模型代码并提供在线可视化工具。
推荐理由:OpenAI 公开 Glow 的可逆生成模型架构与代码,读者可了解其用可逆 1x1 卷积简化模型并支持属性编辑的思路。
OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分,超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行游戏,并用 PPO 优化游戏得分,PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由:OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分,可了解其方法思路。
OpenAI 用 Transformer 与无监督预训练相结合的可扩展、与任务无关的系统,在一系列多样化语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,OpenAI 希望它推动在更大、更多样数据集上继续探索这一思路。
推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了这套与任务无关的系统。
OpenAI 发布分析称,自 2012 年以来,最大规模 AI 训练所用算力呈指数增长,翻倍周期为 3.4 个月,而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍,若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分,若这一趋势延续,值得为远超当前能力的系统做准备。
推荐理由:OpenAI 用一组量化数据说明 AI 训练算力的增长节奏,可与摩尔定律对照理解算力投入的长期趋势。
OpenAI 开发了名为 Reptile 的简单元学习算法,通过反复采样任务、对任务执行随机梯度下降,并将初始参数朝该任务学到的最终参数更新。Reptile 是把 Shortest Descent 算法应用到元学习场景,在数学上与一阶 MAML 相似,只需对 SGD 或 Adam 等优化器进行黑盒访问,计算效率和性能相近。
推荐理由:OpenAI 提出 Reptile 元学习算法,并说明它与一阶 MAML 的数学关系,便于理解其定位。
OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作,共同撰写了一篇论文,预测恶意行为者可能如何滥用 AI 技术,以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。
推荐理由:OpenAI 与多家机构合作近一年,梳理 AI 被恶意滥用的可能路径与防范思路。
OpenAI 公布最新机器人技术,让完全在仿真中训练的机器人控制器部署到实体机器人上,在完成简单任务时能对环境中未预料的变化做出反应。OpenAI 表示,这些技术被用于构建闭环系统,而非此前的开环系统。
推荐理由:原文说明机器人控制器可完全在仿真中训练后部署到实体机器人,并具备闭环反应能力,读者可了解仿真到现实迁移的思路变化。
OpenAI 发现自博弈能让模拟 AI 在未专门设计技能环境的情况下,自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自博弈还能让环境难度始终与 AI 水平匹配,从而持续推动其进步。结合此前的 Dota 2 自博弈结果,OpenAI 表示越来越确信自博弈将成为未来强大 AI 系统的核心部分。
推荐理由:OpenAI 用自博弈让模拟智能体自发学会擒抱、假动作等身体技能,可与 Dota 2 结果对照理解自博弈的训练价值。
OpenAI 发布 Learning with Opponent-Learning Awareness(LOLA)算法,该算法考虑到其他智能体也在学习这一事实,在迭代囚徒困境中能发现类似 tit-for-tat 的自利但协作的策略。OpenAI 称这是迈向能建模他人心智的智能体的一小步。
推荐理由:OpenAI 公开 LOLA 算法,读者可了解让智能体把对手也在学习纳入建模的一种思路。
OpenAI 发文说明其 Dota 2 结果:在算力充足的前提下,自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平,发展到击败顶尖职业选手,此后仍在持续进步。OpenAI 指出,监督式深度学习系统的上限取决于训练数据集,而自对弈系统的可用数据会随智能体变强而自动改善。
推荐理由:OpenAI 用 Dota 2 结果说明自对弈在充足算力下能把系统从远低于人类提升到超人水平。
OpenAI 宣布其打造的 bot 在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该 bot 完全通过自我对弈从零学习游戏,未使用模仿学习或树搜索。OpenAI 称这是迈向在涉及真实人类的混乱复杂情境中完成明确目标的一步。
推荐理由:OpenAI 用自我对弈从零训练出在 1v1 标准赛制下击败顶尖选手的 Dota 2 bot,可了解其不依赖模仿学习与树搜索的路径。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),称其表现与当时最先进方法相当或更好,同时实现和调参都简单得多。PPO 已成为 OpenAI 的默认强化学习算法,原因是易用且性能良好。
推荐理由:OpenAI 公开 PPO 算法并说明其相比当时主流方法更易实现和调参,可了解该算法的设计取舍。
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类判断两种候选行为哪个更好,来推断人类想要的目标。该方法旨在省去人工编写目标函数的环节,因为用简单代理替代复杂目标或目标设定稍有偏差,都可能导致不良甚至危险的行为。
推荐理由:OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数,为对齐研究提供了一条早期思路。
OpenAI 创建了一套机器人系统,完全在仿真环境中训练并部署到实体机器人上,能够在看过一次任务演示后学会新任务。
推荐理由:OpenAI 展示了一套全仿真训练、可部署到实体机器人的系统,读者可了解机器人单次示范学习任务的早期路径。
OpenAI 开发了一个无监督系统,仅通过预测 Amazon 评论文本中的下一个字符进行训练,就学到了对情感的良好表征。
推荐理由:OpenAI 早期关于无监督情感神经元的简短说明,展示了仅靠预测下一字符就能学到情感表征。
OpenAI 发现,已有数十年历史的优化技术进化策略(ES)在现代强化学习基准(如 Atari、MuJoCo)上可与标准强化学习技术性能相当,同时克服了强化学习的诸多不便。
推荐理由:OpenAI 早期研究指出进化策略在现代 RL 基准上可与标准强化学习比肩,并规避后者的一些不便。