跳到正文

全部动态

今日 1 条
8月22日周四
8月20日周二
  1. OpenAI News78

    OpenAI 发布 774M 参数 GPT-2 模型

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,方便机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。

    推荐理由:OpenAI 按分阶段发布节奏放出 GPT-2 最大版本,并给出模型共享的法律协议模板,可观察大模型开放与滥用防范之间的取舍。

8月1日周四
7月22日周一
  1. OpenAI News62

    微软向OpenAI投资10亿美元并达成合作

    微软向OpenAI投资10亿美元,支持其构建通用人工智能(AGI)。双方将在Microsoft Azure上合作开发可扩展至AGI的硬件和软件平台,共同研发新的Azure AI超算技术,微软同时成为OpenAI的独家云服务提供商。

    推荐理由:微软10亿美元投资OpenAI并成为其独家云服务商,读者可据此了解双方在Azure上共建AGI平台的早期合作框架。

7月10日周三
6月5日周三
5月23日周四
5月17日周五
4月25日周四
  1. OpenAI News62

    OpenAI 发布音乐生成神经网络 MuseNet

    OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。

    推荐理由:OpenAI 用与 GPT-2 相同的通用无监督技术训练音乐生成模型,读者可了解这套架构向音频领域的迁移路径。

4月23日周二
  1. OpenAI News62

    OpenAI 提出 Sparse Transformer,可处理长 30 倍的序列

    OpenAI 开发了 Sparse Transformer,这是一种深度神经网络,在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进,从比以往长 30 倍的序列中提取模式。

    推荐理由:OpenAI 用稀疏注意力把可建模序列拉长 30 倍,读者可了解长序列建模的早期技术路线。

4月15日周一
  1. OpenAI News70

    OpenAI Five 击败 Dota 2 世界冠军 OG

    OpenAI Five 在本周末的 Finals 上连续两局击败 Dota 2 世界冠军战队 OG,成为首个在电竞游戏中战胜世界冠军的 AI。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下战胜优秀职业选手,但在公开职业比赛中落败,这也是 AI 首次在直播中击败电竞职业选手。

    推荐理由:OpenAI Five 在直播中连胜 Dota 2 世界冠军 OG,读者可了解 AI 首次在电竞直播中击败职业选手这一节点。

3月26日周二
3月21日周四
3月13日周三
3月11日周一
  1. OpenAI News62

    OpenAI 成立利润上限公司 OpenAI LP

    OpenAI 宣布成立 OpenAI LP,一家采用利润上限(capped-profit)结构的新公司,以便快速增加在算力和人才上的投入,同时保留实现其使命的制衡机制。

    推荐理由:OpenAI 官方说明其营利实体采用利润上限结构,可了解该组织形态的早期设计。

3月6日周三
3月4日周一
  1. OpenAI News55

    OpenAI 发布 Neural MMO 大规模多智能体游戏环境

    OpenAI 发布 Neural MMO,一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持在持续、开放式的任务中运行数量可变的大量智能体,多智能体与多物种的加入带来更好的探索、分化出不同生态位以及整体能力的提升。

    推荐理由:OpenAI 发布面向强化学习智能体的多智能体游戏环境,读者可了解其支持大规模智能体与物种共存的设计取向。

2月26日周二
2月19日周二
  1. OpenAI News40

    OpenAI:AI 安全研究需要社会科学家参与

    OpenAI 发表论文指出,长期 AI 安全研究需要社会科学家参与,才能确保 AI 对齐算法在真实人类参与时有效。论文认为,将先进 AI 系统与人类价值观正确对齐,需解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职从事该研究,以推动机器学习与社会科学的合作。

2月14日周四
  1. OpenAI News73

    OpenAI 训练大规模无监督语言模型并取得多项基准最优表现

    OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。

    推荐理由:原文给出无监督语言模型在多项基准上的表现,可据此了解早期通用语言模型的训练思路。

12月19日周三
12月14日周五
  1. OpenAI News40

    OpenAI 研究:AI 训练如何扩展——梯度噪声尺度可预测并行性

    OpenAI 发现梯度噪声尺度这一简单统计指标能预测神经网络训练在多种任务上的可并行性。复杂任务的梯度噪声更大,因此未来更大的 batch size 可能变得有用,从而消除 AI 系统继续扩展的一个潜在限制。该结果还表明神经网络训练并非神秘技艺,而是可以被严格化和系统化的。

12月6日周四
11月8日周四
  1. OpenAI News62

    OpenAI 发布深度强化学习教学资源 Spinning Up in Deep RL

    OpenAI 发布 Spinning Up in Deep RL,一套面向深度强化学习的教学资源,目标是让任何人都能学习成为该领域的熟练实践者。该资源包含清晰的 RL 代码示例、教学练习、文档和教程。

    推荐理由:OpenAI 把深度强化学习的代码示例、练习与教程打包成一套公开学习资源,适合想入门该方向的人按图索骥。

11月7日周三
  1. OpenAI News42

    OpenAI 用能量函数模型学习概念

    OpenAI 开发了一种基于能量的模型,仅需五次演示即可学会识别并生成以 2D 点集表达的概念,如 near、above、between、closest 和 furthest。该模型还能实现跨域迁移,将 2D 粒子环境中习得的概念用于解决 3D 物理机器人任务。

10月31日周三
  1. OpenAI News62

    OpenAI 提出基于预测奖励的强化学习探索方法 RND

    OpenAI 开发了 Random Network Distillation(RND),一种基于预测的奖励方法,通过好奇心鼓励强化学习智能体探索环境。该方法在《蒙特祖玛的复仇》上首次超过人类平均表现。

    推荐理由:OpenAI 提出基于预测的随机网络蒸馏探索方法,在《蒙特祖玛的复仇》上首次超过人类平均分。

10月22日周一
  1. OpenAI News42

    OpenAI 提出迭代放大(iterated amplification)AI 安全技术

    OpenAI 提出一种名为迭代放大(iterated amplification)的 AI 安全技术,通过将复杂任务拆解为更简单的子任务来指定超出人类规模的行为与目标,而非依赖标注数据或奖励函数。该构想仍处于早期阶段,目前仅在简单的玩具算法领域完成实验,OpenAI 认为它有望成为可扩展的 AI 安全方案。

10月11日周四
10月9日周二
9月10日周一
8月23日周四
8月6日周一
7月30日周一
7月25日周三
7月18日周三
7月9日周一
  1. OpenAI News62

    OpenAI 发布可逆生成模型 Glow

    OpenAI 发布可逆生成模型 Glow,采用可逆 1x1 卷积,在简化此前可逆生成模型架构的同时支持高分辨率图像生成与高效采样。该模型还能发现可用于操控数据属性的特征,OpenAI 同步开源模型代码并提供在线可视化工具。

    推荐理由:OpenAI 公开 Glow 的可逆生成模型架构与代码,读者可了解其用可逆 1x1 卷积简化模型并支持属性编辑的思路。

7月4日周三
  1. OpenAI News62

    OpenAI 从单次演示中学会 Montezuma's Revenge

    OpenAI 训练出一个智能体,仅凭单次人类演示就在 Montezuma's Revenge 上取得 74,500 分的高分,超过此前所有已发表结果。其算法思路是让智能体从演示中精心挑选的状态出发连续进行游戏,并用 PPO 优化游戏得分,PPO 也是支撑 OpenAI Five 的同一强化学习算法。

    推荐理由:OpenAI 用单次人类演示加 PPO 在 Montezuma's Revenge 上取得 74,500 分,可了解其方法思路。

6月25日周一
6月22日周五
6月11日周一
  1. OpenAI News82

    OpenAI 用无监督学习提升语言理解能力

    OpenAI 用 Transformer 与无监督预训练相结合的可扩展、与任务无关的系统,在一系列多样化语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,OpenAI 希望它推动在更大、更多样数据集上继续探索这一思路。

    推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了这套与任务无关的系统。