OpenAI 提出 UAR 指标,评估神经网络抵御未见对抗攻击的鲁棒性
OpenAI 开发出一种方法,用于评估神经网络分类器能否可靠抵御训练中未见的对抗攻击,并提出新指标 UAR(Unforeseen Attack Robustness)。该指标可衡量单一模型面对未预期攻击时的鲁棒性,并强调需在更多样化的未见攻击上评估模型表现。
OpenAI 开发出一种方法,用于评估神经网络分类器能否可靠抵御训练中未见的对抗攻击,并提出新指标 UAR(Unforeseen Attack Robustness)。该指标可衡量单一模型面对未预期攻击时的鲁棒性,并强调需在更多样化的未见攻击上评估模型表现。
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,方便机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由:OpenAI 按分阶段发布节奏放出 GPT-2 最大版本,并给出模型共享的法律协议模板,可观察大模型开放与滥用防范之间的取舍。
OpenAI 将每周四设为 Learning Day,员工可自主选择学习日常工作中接触不到的技术技能,以提升工作表现。该制度为可选性质,学习内容聚焦技术能力。
微软向OpenAI投资10亿美元,支持其构建通用人工智能(AGI)。双方将在Microsoft Azure上合作开发可扩展至AGI的硬件和软件平台,共同研发新的Azure AI超算技术,微软同时成为OpenAI的独家云服务提供商。
推荐理由:微软10亿美元投资OpenAI并成为其独家云服务商,读者可据此了解双方在Azure上共建AGI平台的早期合作框架。
OpenAI 发布政策研究论文,提出四项可立即用于促进 AI 安全规范长期行业合作的策略:沟通风险与收益、技术协作、提升透明度、激励标准。分析指出,行业安全合作对确保 AI 系统安全有益至关重要,但竞争压力可能引发集体行动问题,导致 AI 公司对安全投入不足。
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。
OpenAI Scholars 2019 届八位学者全部完成最终项目,并在 OpenAI 举办的 Scholars Demo Day 上展示。这是该项目的第二届结业班。
OpenAI 第二批 Fellows 完成 6 个月学徒期,每位成员从机器学习初学者成长为 OpenAI 核心贡献者,并展示了最终项目。OpenAI Fellows Summer 2019 的申请正在滚动审核中。
OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由:OpenAI 用与 GPT-2 相同的通用无监督技术训练音乐生成模型,读者可了解这套架构向音频领域的迁移路径。
OpenAI 开发了 Sparse Transformer,这是一种深度神经网络,在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进,从比以往长 30 倍的序列中提取模式。
推荐理由:OpenAI 用稀疏注意力把可建模序列拉长 30 倍,读者可了解长序列建模的早期技术路线。
OpenAI Five 在本周末的 Finals 上连续两局击败 Dota 2 世界冠军战队 OG,成为首个在电竞游戏中战胜世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下战胜优秀职业选手,但在公开职业比赛中落败,这也是 AI 首次在直播中击败电竞职业选手。
推荐理由:OpenAI Five 在直播中连胜 Dota 2 世界冠军 OG,读者可了解 AI 首次在电竞直播中击败职业选手这一节点。
OpenAI 将于 4 月 13 日上午 11:30(太平洋时间)举办 OpenAI Five 的最后一场直播活动。
OpenAI 在能量模型(EBM)的稳定、可扩展训练上取得进展,样本质量和泛化能力优于现有模型。EBM 生成通过投入更多算力持续精修答案,在低温下可生成与 GAN 媲美的样本,同时具备似然类模型的模式覆盖保证。
OpenAI 公布 2019 届 Scholars 计划入选名单,8 名学者从 550 名申请者中选出。他们的专业背景涵盖文学、哲学、细胞生物学、统计学、经济学、量子物理和商业创新。
OpenAI 宣布成立 OpenAI LP,一家采用利润上限(capped-profit)结构的新公司,以便快速增加在算力和人才上的投入,同时保留实现其使命的制衡机制。
推荐理由:OpenAI 官方说明其营利实体采用利润上限结构,可了解该组织形态的早期设计。
OpenAI 与 Google 研究人员合作推出激活图谱(Activation Atlases),一种可视化神经元之间交互所代表含义的新技术。该技术旨在帮助理解 AI 系统的内部决策过程,从而识别弱点并调查失败原因,以应对 AI 系统日益部署于敏感场景的需求。
OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持续、开放式的任务中运行数量可变的大量智能体,多智能体与多物种的加入带来更好的探索、分化出不同生态位以及整体能力的提升。
推荐理由:OpenAI 发布面向强化学习智能体的多智能体游戏环境,读者可了解其支持大规模智能体与物种共存的设计取向。
OpenAI 于 2 月 2 日举办了首届 Spinning Up 研讨会,这是其新教育计划的一部分。
OpenAI 发表论文指出,长期 AI 安全研究需要社会科学家参与,才能确保 AI 对齐算法在真实人类参与时有效。论文认为,将先进 AI 系统与人类价值观正确对齐,需解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职从事该研究,以推动机器学习与社会科学的合作。
OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由:原文给出无监督语言模型在多项基准上的表现,可据此了解早期通用语言模型的训练思路。
OpenAI 首期 Fellows 项目结业,每位学员在 6 个月学徒期内从机器学习初学者成长为 OpenAI 的核心贡献者。该项目公布了夏季班学员的结业项目。
OpenAI 发现梯度噪声尺度这一简单统计指标能预测神经网络训练在多种任务上的可并行性。复杂任务的梯度噪声更大,因此未来更大的 batch size 可能变得有用,从而消除 AI 系统继续扩展的一个潜在限制。该结果还表明神经网络训练并非神秘技艺,而是可以被严格化和系统化的。
OpenAI 发布训练环境 CoinRun,用于衡量智能体将经验迁移到新情境的能力,并已帮助厘清强化学习领域一个长期存在的难题。CoinRun 在复杂度上取得平衡:比《刺猬索尼克》等传统平台游戏更简单,但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI 发布 Spinning Up in Deep RL,一套面向深度强化学习的教学资源,目标是让任何人都能学习成为该领域的熟练实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。
推荐理由:OpenAI 把深度强化学习的代码示例、练习与教程打包成一套公开学习资源,适合想入门该方向的人按图索骥。
OpenAI 开发了一种基于能量的模型,仅需五次演示即可学会识别并生成以 2D 点集表达的概念,如 near、above、between、closest 和 furthest。该模型还能实现跨域迁移,将 2D 粒子环境中习得的概念用于解决 3D 物理机器人任务。
OpenAI 开发了 Random Network Distillation(RND),一种基于预测的奖励方法,通过好奇心鼓励强化学习智能体探索环境。该方法在《蒙特祖玛的复仇》上首次超过人类平均表现。
推荐理由:OpenAI 提出基于预测的随机网络蒸馏探索方法,在《蒙特祖玛的复仇》上首次超过人类平均分。
OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过将复杂任务拆解为更简单的子任务来指定超出人类规模的行为与目标,而非依赖标注数据或奖励函数。该构想仍处于早期阶段,目前仅在简单的玩具算法领域完成实验,OpenAI 认为它有望成为可扩展的 AI 安全方案。
OpenAI 开放第二期 OpenAI Scholars 申请,面向弱势群体提供 6–10 个津贴与导师指导名额,全职学习深度学习 3 个月并开源一个项目。
OpenAI 开始接受 2019 年 Fellows 与 Interns 申请,其中 Fellows 为冬季项目、Interns 为夏季项目。
OpenAI Scholars 2018 首批学员已完成该项目并提交结业项目。这是 OpenAI Scholars 的首期 cohort。
OpenAI Five 本周在温哥华 The International 上对阵顶尖 Dota 2 选手,两场比赛均告负,但在两场的前 20–35 分钟内都保持着不错的取胜机会。
OpenAI Five 在三局两胜制比赛中击败了由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的 99.95 百分位 Dota 玩家队伍,其中四人曾打过职业 Dota。比赛在直播观众和 10 万同时在线观看者面前进行。
OpenAI 表示已训练出一只类人机械手,能以空前的灵巧度操作实体物体。
推荐理由:OpenAI 用仿真训练出类人机械手完成实物操作,可了解早期具身智能的训练思路。
OpenAI 公布 2018 年首届 OpenAI Scholars 学员名单,这批经验丰富的软件开发者正在转型为机器学习从业者。该项目已正式启动,公众可跟进他们的学习进展。
OpenAI Five Benchmark 比赛已结束。OpenAI 公布了这场 Dota 2 人机对抗基准赛的结果。
OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持高分辨率图像生成与高效采样。该模型还能发现可用于操控数据属性的特征,OpenAI 同步开源模型代码并提供在线可视化工具。
推荐理由:OpenAI 公开 Glow 的可逆生成模型架构与代码,读者可了解其用可逆 1x1 卷积简化模型并支持属性编辑的思路。
OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分,超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行游戏,并用 PPO 优化游戏得分,PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由:OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分,可了解其方法思路。
OpenAI 宣布由五个神经网络组成的 OpenAI Five 已在 Dota 2 中开始击败业余人类队伍。
推荐理由:OpenAI Five 首次在 Dota 2 中击败业余人类队伍,可作为早期多智能体协作能力的观察样本。
OpenAI 首届 Retro Contest 已完成,该竞赛旨在探索能从上一次经验中泛化到新任务的算法。竞赛结果已公布。
OpenAI 用 Transformer 与无监督预训练相结合的可扩展、与任务无关的系统,在一系列多样化语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,OpenAI 希望它推动在更大、更多样数据集上继续探索这一思路。
推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了这套与任务无关的系统。