OpenAI 发布 GPT-2 1.5B 版本及代码与模型权重
OpenAI 发布 GPT-2 最大版本(1.5B 参数),同时开放代码和模型权重,用于帮助检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布的最后一步,尽管自 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划完成整个分阶段发布流程,希望为未来强大模型的开发者提供参考案例。
推荐理由:OpenAI 公布 GPT-2 分阶段发布的最后一步,读者可了解其负责任发布流程的完整样本。
OpenAI 发布 GPT-2 最大版本(1.5B 参数),同时开放代码和模型权重,用于帮助检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布的最后一步,尽管自 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划完成整个分阶段发布流程,希望为未来强大模型的开发者提供参考案例。
推荐理由:OpenAI 公布 GPT-2 分阶段发布的最后一步,读者可了解其负责任发布流程的完整样本。
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,方便机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由:OpenAI 按分阶段发布节奏放出 GPT-2 最大版本,并给出模型共享的法律协议模板,可观察大模型开放与滥用防范之间的取舍。
OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由:OpenAI 用与 GPT-2 相同的通用无监督技术训练音乐生成模型,读者可了解这套架构向音频领域的迁移路径。
OpenAI Five 在本周末的 Finals 上连续两局击败 Dota 2 世界冠军战队 OG,成为首个在电竞游戏中战胜世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下战胜优秀职业选手,但在公开职业比赛中落败,这也是 AI 首次在直播中击败电竞职业选手。
推荐理由:OpenAI Five 在直播中连胜 Dota 2 世界冠军 OG,读者可了解 AI 首次在电竞直播中击败职业选手这一节点。
OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由:原文给出无监督语言模型在多项基准上的表现,可据此了解早期通用语言模型的训练思路。
OpenAI 宣布由五个神经网络组成的 OpenAI Five 已在 Dota 2 中开始击败业余人类队伍。
推荐理由:OpenAI Five 首次在 Dota 2 中击败业余人类队伍,可作为早期多智能体协作能力的观察样本。
OpenAI 发文说明其 Dota 2 结果:在算力充足的前提下,自对弈能把机器学习系统的表现从远低于人类水平提升到超人水平。该系统在一个月内从勉强与高排名玩家打平,发展到击败顶尖职业选手,此后仍在持续进步。OpenAI 指出,监督式深度学习系统的上限取决于训练数据集,而自对弈系统的可用数据会随智能体变强而自动改善。
推荐理由:OpenAI 用 Dota 2 结果说明自对弈在充足算力下能把系统从远低于人类提升到超人水平。
OpenAI 宣布其打造的 bot 在标准锦标赛规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该 bot 完全通过自我对弈从零学习游戏,未使用模仿学习或树搜索。OpenAI 称这是迈向在涉及真实人类的混乱复杂情境中完成明确目标的一步。
推荐理由:OpenAI 用自我对弈从零训练出在 1v1 标准赛制下击败顶尖选手的 Dota 2 bot,可了解其不依赖模仿学习与树搜索的路径。