OpenAI 发布 CoinRun：量化强化学习中的泛化能力
OpenAI 发布训练环境 CoinRun，用于衡量智能体将经验迁移到新情境的能力，并已帮助厘清强化学习领域一个长期存在的难题。CoinRun 在复杂度上取得平衡：比《刺猬索尼克》等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
#OpenAI
#OpenAI
今日 1 条OpenAI NewsAI 评分4242
OpenAI News精选AI 评分6262 OpenAI 发布深度强化学习教学资源 Spinning Up in Deep RL
OpenAI 发布 Spinning Up in Deep RL，一套面向深度强化学习的教学资源，目标是让任何人都能学习成为该领域的熟练实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
推荐理由：OpenAI 把深度强化学习的代码示例、练习与教程打包成一套公开学习资源，适合想入门该方向的人按图索骥。
OpenAI NewsAI 评分4242 OpenAI 用能量函数模型学习概念
OpenAI 开发了一种基于能量的模型，仅需五次演示即可学会识别并生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest。该模型还能实现跨域迁移，将 2D 粒子环境中习得的概念用于解决 3D 物理机器人任务。
OpenAI News精选AI 评分6262 OpenAI 提出基于预测奖励的强化学习探索方法 RND
OpenAI 开发了 Random Network Distillation（RND），一种基于预测的奖励方法，通过好奇心鼓励强化学习智能体探索环境。该方法在《蒙特祖玛的复仇》上首次超过人类平均表现。
推荐理由：OpenAI 提出基于预测的随机网络蒸馏探索方法，在《蒙特祖玛的复仇》上首次超过人类平均分。
OpenAI NewsAI 评分4242 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术，通过将复杂任务拆解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该构想仍处于早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它有望成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分2222 OpenAI Scholars 2019 申请开放
OpenAI 开放第二期 OpenAI Scholars 申请，面向弱势群体提供 6–10 个津贴与导师指导名额，全职学习深度学习 3 个月并开源一个项目。
OpenAI NewsAI 评分88 OpenAI 开放 2019 冬季 Fellows 与夏季 Interns 申请
OpenAI 开始接受 2019 年 Fellows 与 Interns 申请，其中 Fellows 为冬季项目、Interns 为夏季项目。
OpenAI NewsAI 评分2020 OpenAI Scholars 2018 首批学员完成结业项目
OpenAI Scholars 2018 首批学员已完成该项目并提交结业项目。这是 OpenAI Scholars 的首期 cohort。
OpenAI NewsAI 评分4242 OpenAI Five 在 The International 2018 不敌顶尖 Dota 2 选手
OpenAI Five 本周在温哥华 The International 上对阵顶尖 Dota 2 选手，两场比赛均告负，但在两场的前 20–35 分钟内都保持着不错的取胜机会。
OpenAI News精选AI 评分6262 OpenAI Five 基准测试：三局两胜击败 99.95 百分位 Dota 玩家队伍
OpenAI Five 在三局两胜制比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 99.95 百分位 Dota 玩家队伍，其中四人曾打过职业 Dota。比赛在直播观众和 10 万同时在线观看者面前进行。
OpenAI News精选AI 评分6262 OpenAI 训练类人机械手实现物体灵巧操作
OpenAI 表示已训练出一只类人机械手，能以空前的灵巧度操作实体物体。
推荐理由：OpenAI 用仿真训练出类人机械手完成实物操作，可了解早期具身智能的训练思路。
OpenAI NewsAI 评分2222 OpenAI Scholars 2018：认识我们的学者
OpenAI 公布 2018 年首届 OpenAI Scholars 学员名单，这批经验丰富的软件开发者正在转型为机器学习从业者。该项目已正式启动，公众可跟进他们的学习进展。
OpenAI NewsAI 评分99 OpenAI Five Benchmark 比赛结束
OpenAI Five Benchmark 比赛已结束。OpenAI 公布了这场 Dota 2 人机对抗基准赛的结果。
OpenAI News精选AI 评分6262 OpenAI 发布可逆生成模型 Glow
OpenAI 发布可逆生成模型 Glow，采用可逆 1x1 卷积，在简化此前可逆生成模型架构的同时支持高分辨率图像生成与高效采样。该模型还能发现可用于操控数据属性的特征，OpenAI 同步开源模型代码并提供在线可视化工具。
推荐理由：OpenAI 公开 Glow 的可逆生成模型架构与代码，读者可了解其用可逆 1x1 卷积简化模型并支持属性编辑的思路。
OpenAI News精选AI 评分6262 OpenAI 从单次演示中学会 Montezuma's Revenge
OpenAI 训练出一个智能体，仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分，超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行游戏，并用 PPO 优化游戏得分，PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由：OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分，可了解其方法思路。
OpenAI News精选AI 评分6262 OpenAI Five 在 Dota 2 中开始击败业余人类队伍
OpenAI 宣布由五个神经网络组成的 OpenAI Five 已在 Dota 2 中开始击败业余人类队伍。
推荐理由：OpenAI Five 首次在 Dota 2 中击败业余人类队伍，可作为早期多智能体协作能力的观察样本。
OpenAI NewsAI 评分1919 OpenAI Retro Contest 首届结果公布
OpenAI 首届 Retro Contest 已完成，该竞赛旨在探索能从上一次经验中泛化到新任务的算法。竞赛结果已公布。
OpenAI News精选AI 评分8282 OpenAI 用无监督学习提升语言理解能力
OpenAI 用 Transformer 与无监督预训练相结合的可扩展、与任务无关的系统，在一系列多样化语言任务上取得当时最优结果，并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好，OpenAI 希望它推动在更大、更多样数据集上继续探索这一思路。
推荐理由：OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果，并公开了这套与任务无关的系统。
OpenAI NewsAI 评分1717 OpenAI Fellows 2018 秋季班开放申请
OpenAI 开放 2018 秋季班 OpenAI Fellows 申请，该项目提供为期 6 个月、带薪酬的 AI 研究学徒岗位。
OpenAI News精选AI 评分6262 OpenAI 发布 Gym Retro 完整版，支持游戏增至 1000 多款
OpenAI 发布强化学习游戏平台 Gym Retro 的完整版，公开可用的游戏数量从约 70 款 Atari 游戏和 30 款 Sega 游戏扩展到 1000 多款，覆盖多种模拟器后端。OpenAI 同时发布了用于向该平台添加新游戏的工具。
推荐理由：原文给出游戏数量从约百款扩展到 1000 多款，并开放添加新游戏的工具，便于了解该强化学习平台的可用范围。
OpenAI News精选AI 评分7878 OpenAI 分析：2012 年以来最大 AI 训练算力每 3.4 个月翻倍
OpenAI 发布分析称，自 2012 年以来，最大规模 AI 训练所用算力呈指数增长，翻倍周期为 3.4 个月，而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍，若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分，若这一趋势延续，值得为远超当前能力的系统做准备。
推荐理由：OpenAI 用一组量化数据说明 AI 训练算力的增长节奏，可与摩尔定律对照理解算力投入的长期趋势。
OpenAI NewsAI 评分4242 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类判断胜负。该方法旨在借助辩论提升 AI 系统的安全性。
OpenAI NewsAI 评分3232 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。经 EPG 训练的智能体在测试时可完成训练范围之外的基础任务，例如学会导航到房间中与训练时放置位置相反一侧的物体。
OpenAI NewsAI 评分2222 OpenAI 启动 Retro Contest 迁移学习竞赛
OpenAI 推出 Retro Contest 迁移学习竞赛，用于衡量强化学习算法从既往经验中泛化的能力。
OpenAI NewsAI 评分1212 OpenAI 首届黑客松：100 位 AI 社区成员参与
OpenAI 于 3 月 3 日举办了首届黑客松，共有 100 位人工智能社区成员参与。
OpenAI News精选AI 评分6060 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发了名为 Reptile 的简单元学习算法，通过反复采样任务、对任务执行随机梯度下降，并将初始参数朝该任务学到的最终参数更新。Reptile 是把 Shortest Descent 算法应用到元学习场景，在数学上与一阶 MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒访问，计算效率和性能相近。
推荐理由：OpenAI 提出 Reptile 元学习算法，并说明它与一阶 MAML 的数学关系，便于理解其定位。
OpenAI NewsAI 评分2222 OpenAI Scholars：为 underrepresented 群体提供 6–10 份深度学习奖学金
OpenAI 推出 OpenAI Scholars 项目，为来自 underrepresented 群体的个人提供 6–10 份津贴与导师指导，支持其全职学习深度学习 3 个月并开源一个项目。
OpenAI News精选AI 评分6262 OpenAI 发布八个仿真机器人环境与 Hindsight Experience Replay 实现
OpenAI 发布八个仿真机器人环境，以及 Hindsight Experience Replay 的 Baselines 实现，这些环境是过去一年为自身研究开发的，并已用于训练可运行在实体机器人上的模型。OpenAI 同时发布了一组机器人研究需求。
推荐理由：OpenAI 公开八个仿真机器人环境与 HER 的 Baselines 实现，读者可了解其机器人研究的基础设施与后续方向。
OpenAI NewsAI 评分88 OpenAI 旧金山 hackathon
OpenAI 将于 3 月 3 日（周六）在旧金山 Mission District 办公室举办 talks 与 hackathon。
OpenAI News精选AI 评分6262 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作，共同撰写了一篇论文，预测恶意行为者可能如何滥用 AI 技术，以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。
推荐理由：OpenAI 与多家机构合作近一年，梳理 AI 被恶意滥用的可能路径与防范思路。
OpenAI NewsAI 评分44 OpenAI 迎来新捐赠者
OpenAI 宣布迎来新的捐赠者加入支持者行列。
OpenAI NewsAI 评分3030 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的方法，所选取的示例同时也能被人类理解。该方法自动挑选最具信息量的示例来教授某个概念，例如用最佳图像来描述"狗"这一概念，实验证明其对 AI 教学有效。
OpenAI NewsAI 评分2222 OpenAI 用神经网络自动发现类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI NewsAI 评分2222 OpenAI 发布 Requests for Research 2.0：七道未解研究难题
OpenAI 发布 Requests for Research 2.0，公布七道在其研究过程中出现的未解难题。该批次问题面向研究社区公开，具体题目与方向未在原文中展开。
OpenAI NewsAI 评分1919 OpenAI 发布块稀疏 GPU 内核
OpenAI 发布面向块稀疏权重神经网络的高度优化 GPU 内核，按所选稀疏度可比 cuBLAS 或 cuSPARSE 快数个数量级。该内核已用于文本情感分析以及文本和图像生成建模，并取得当前最优结果。
OpenAI NewsAI 评分4040 OpenAI 提出分层强化学习算法，学习可复用的高层动作
OpenAI 开发出一种分层强化学习算法，能学习对解决多类任务有用的高层动作，从而快速求解需要数千个时间步的任务。在导航问题集上，该算法发现了向不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI News精选AI 评分5858 OpenAI 用仿真训练机器人控制器并部署到实体机器人
OpenAI 公布最新机器人技术，让完全在仿真中训练的机器人控制器部署到实体机器人上，在完成简单任务时能对环境中未预料的变化做出反应。OpenAI 表示，这些技术被用于构建闭环系统，而非此前的开环系统。
推荐理由：原文说明机器人控制器可完全在仿真中训练后部署到实体机器人，并具备闭环反应能力，读者可了解仿真到现实迁移的思路变化。
OpenAI News精选AI 评分6262 OpenAI 发现自博弈让模拟 AI 自发学会身体技能
OpenAI 发现自博弈能让模拟 AI 在未专门设计技能环境的情况下，自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自博弈还能让环境难度始终与 AI 水平匹配，从而持续推动其进步。结合此前的 Dota 2 自博弈结果，OpenAI 表示越来越确信自博弈将成为未来强大 AI 系统的核心部分。
推荐理由：OpenAI 用自博弈让模拟智能体自发学会擒抱、假动作等身体技能，可与 Dota 2 结果对照理解自博弈的训练价值。
OpenAI NewsAI 评分2222 OpenAI 用元学习让机器人摔跤手快速击败更强对手
OpenAI 展示，在模拟机器人摔跤任务中，元学习智能体能够快速击败更强的非元学习智能体，并能适应物理故障。
OpenAI News精选AI 评分5050 OpenAI 发布 LOLA 算法，让智能体建模对手的学习过程
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法考虑到其他智能体也在学习这一事实，在迭代囚徒困境中能发现类似 tit-for-tat 的自利但协作的策略。OpenAI 称这是迈向能建模他人心智的智能体的一小步。
推荐理由：OpenAI 公开 LOLA 算法，读者可了解让智能体把对手也在学习纳入建模的一种思路。