OpenAI 发文说明其 Dota 2 结果：在算力充足的前提下，自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平，发展到击败顶尖职业选手，此后仍在持续进步。OpenAI 指出，监督式深度学习系统的上限取决于训练数据集，而自对弈系统的可用数据会随智能体变强而自动改善。
推荐理由：OpenAI 用 Dota 2 结果说明自对弈在充足算力下能把系统从远低于人类提升到超人水平。
OpenAI 宣布其打造的 bot 在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该 bot 完全通过自我对弈从零学习游戏，未使用模仿学习或树搜索。OpenAI 称这是迈向在涉及真实人类的混乱复杂情境中完成明确目标的一步。
推荐理由：OpenAI 用自我对弈从零训练出在 1v1 标准赛制下击败顶尖选手的 Dota 2 bot，可了解其不依赖模仿学习与树搜索的路径。
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），称其表现与当时最先进方法相当或更好，同时实现和调参都简单得多。PPO 已成为 OpenAI 的默认强化学习算法，原因是易用且性能良好。
推荐理由：OpenAI 公开 PPO 算法并说明其相比当时主流方法更易实现和调参，可了解该算法的设计取舍。
OpenAI 造出能从不同尺度和视角稳定欺骗神经网络分类器的对抗图像，直接挑战了上周"自动驾驶汽车因多尺度、多角度采集图像而难以被恶意欺骗"的说法。
OpenAI 开源了一个基于 MuJoCo 引擎的高性能 Python 机器人仿真库，该库在其过去一年的机器人研究中开发而成。
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两种候选行为哪个更好，来推断人类想要的目标。该方法旨在省去人工编写目标函数的环节，因为用简单代理替代复杂目标或目标设定稍有偏差，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。
OpenAI 发文指出，智能体争夺资源的多智能体环境是通往 AGI 的踏脚石。这类环境具备两个有用特性：难度由竞争对手的水平自然决定，与自身克隆体竞争时环境恰好匹配自身能力；同时不存在稳定均衡，智能体再聪明也始终面临变得更聪明的压力。OpenAI 表示这类环境与传统环境感受迥异，仍需大量研究才能驾驭。
OpenAI 开源内部项目 OpenAI Baselines，目标是以与已发表结果相当的性能复现强化学习算法。首批发布 DQN 及其三个变体，其余算法将在接下来几个月内陆续放出。
推荐理由：OpenAI 开源内部强化学习复现项目 Baselines，首批放出 DQN 及三个变体，可了解其复现思路与后续计划。
OpenAI 创建了一套机器人系统，完全在仿真环境中训练并部署到实体机器人上，能够在看过一次任务演示后学会新任务。
推荐理由：OpenAI 展示了一套全仿真训练、可部署到实体机器人的系统，读者可了解机器人单次示范学习任务的早期路径。
OpenAI 发布 Roboschool，一款用于机器人仿真的开源软件，并与 OpenAI Gym 集成。
推荐理由：OpenAI 开源机器人仿真软件并接入 Gym，读者可了解其早期机器人研究工具链的开放入口。
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论文本中的下一个字符进行训练，就学到了对情感的良好表征。
推荐理由：OpenAI 早期关于无监督情感神经元的简短说明，展示了仅靠预测下一字符就能学到情感表征。
OpenAI 造出全球首个完全在仿真中训练、并部署到实体机器人上的垃圾邮件检测 AI。该系统将仿真环境中学到的能力迁移至物理世界，用于识别现实场景中的垃圾信息。
OpenAI 发现，已有数十年历史的优化技术进化策略（ES）在现代强化学习基准（如 Atari、MuJoCo）上可与标准强化学习技术性能相当，同时克服了强化学习的诸多不便。
推荐理由：OpenAI 早期研究指出进化策略在现代 RL 基准上可与标准强化学习比肩，并规避后者的一些不便。
OpenAI 宣布支持 Distill 上线，这是一种旨在出色传播机器学习成果（无论新颖还是已有）的新型期刊。
OpenAI 发布一项新研究，其中智能体发展出了自己的语言。该帖仅给出研究概要，未提供完整正文。
OpenAI 发文解析对抗样本——即攻击者刻意设计、能让机器学习模型出错的输入，如同机器的视觉错觉。文章展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI 团队规模现已达到 45 人，正共同推进 AI 能力前沿，包括验证新想法、构建新软件系统以及在机器人上部署机器学习。
OpenAI 发文探讨强化学习算法中一种反直觉的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以出人意料的方式被"钻空子"，偏离设计者本意。
OpenAI 发布 Universe，一个用于衡量和训练 AI 通用智能的软件平台，覆盖全球各类游戏、网站及其他应用。
推荐理由：OpenAI 发布 Universe 平台，读者可了解其用游戏与网站训练通用智能的定位。
OpenAI 正与 Microsoft 合作，将其大部分大规模实验放到 Azure 上运行。
OpenAI 上周在其办公室举办了首届机器学习自组织会议，超过 150 位 AI 从业者参加。
OpenAI 认为深度学习是一门经验科学，团队基础设施的质量是进展的倍增器。当前开源生态已让任何人都能搭建出色的深度学习基础设施。
OpenAI 机器学习 Unconference 的最新信息已在 Unconference wiki 发布，该页面将定期更新以供参会者获取更多内容。
OpenAI 宣布招聘了更多优秀人才以帮助实现其目标，并对新加入的成员表示欢迎。
OpenAI 提出"特别项目"（Special projects），主张有影响力的科学工作应聚焦正确的问题——不只是有趣，而是其解决方案真正重要。
OpenAI 与 Berkeley、Stanford 的研究者共同合著了由 Google Brain 主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。
OpenAI 公布其技术目标：构建安全的 AI，并确保 AI 带来的益处尽可能广泛且均衡地分配。其使命同时强调安全与普惠两个方向。
OpenAI 介绍了四个围绕生成模型展开的项目，生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要，以及它们可能的发展方向。
OpenAI 欢迎最新一批团队成员加入，并仍在持续招聘。
OpenAI 发布强化学习工具包 OpenAI Gym 的公测版，用于开发和比较 RL 算法。它包含一套持续扩充的环境，涵盖模拟机器人到 Atari 游戏，并提供一个用于比较和复现结果的站点。
推荐理由：OpenAI 公开强化学习工具包 Gym 的 beta 版，读者可了解其环境套件与结果对比站点的构成。
OpenAI 宣布 Pieter 和 Shivon 两位新成员加入团队。这是 OpenAI 公布的最新两项团队人事更新。
OpenAI 宣布过去几个月有多位优秀人才加入团队，并仍在持续招聘中。
OpenAI 宣布成立，定位为非营利人工智能研究公司，目标是推进数字智能以尽可能惠及全人类，且不受盈利需求约束。文中称由于研究不受财务义务限制，可以更专注于产生积极的人类影响。
推荐理由：OpenAI 官方公布其非营利研究机构定位与不受财务回报约束的目标，可作为理解其早期组织形态的一手材料。