跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

322条精选相关主题论文研究部署工程模型发布

最新精选

第 301–320 条 · 共 322 条
6月18日周三
3月20日周三
5月31日周三
  1. OpenAI News62

    OpenAI 用过程监督提升数学推理能力

    OpenAI 训练了一个模型,通过奖励每一步正确推理(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。除性能提升外,过程监督还带来对齐收益:直接训练模型产出被人类认可的思维链。

    推荐理由:OpenAI 用过程监督替代结果监督训练数学推理模型,读者可了解两种奖励方式的差异与对齐收益。

5月9日周二
1月26日周四
11月17日周四
7月28日周四
6月23日周四
  1. OpenAI News74

    OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft

    OpenAI 训练了一个神经网络,通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频数据集上学习,仅使用少量标注的承包商数据。经微调后,该模型能学会制作钻石工具,这一任务通常需要熟练人类花费超过 20 分钟(24,000 次操作)。模型使用键盘按键和鼠标移动的原生人类交互界面,因此具有较强通用性,是迈向通用计算机操作智能体的一步。

    推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,展示从少量标注数据到通用计算机操作智能体的路径。

2月2日周三
10月29日周五
  1. OpenAI News62

    OpenAI 训练系统求解小学数学应用题,准确率接近 9-12 岁儿童

    OpenAI 训练了一个求解小学数学应用题的模型,准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的得分为 55%,而一小批 9-12 岁儿童的得分为 60%。

    推荐理由:OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平,可对照理解当时模型推理能力的位置。

9月23日周四
9月4日周五
5月5日周二
  1. OpenAI News62

    OpenAI 分析:训练同等性能神经网络所需算力每 16 个月减半

    OpenAI 发布一项分析,指出自 2012 年以来,在 ImageNet 分类任务上训练达到同等性能的神经网络所需算力每 16 个月减少一半。相比 2012 年,训练达到 AlexNet 水平的网络所需算力已减少 44 倍,而同期摩尔定律带来的成本改善约为 11 倍。分析认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。

    推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对照理解 AI 效率来源。

9月19日周四
  1. OpenAI News67

    OpenAI 用人类偏好微调 774M 参数 GPT-2

    OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调,在多项任务上成功匹配外部人类标注者的偏好,但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中,标注者偏好直接从输入中整句复制的内容,模型因此学会了复制;摘要任务需要 60k 条人类标注,而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。

    推荐理由:OpenAI 用人类反馈微调 GPT-2 的早期实验,展示了偏好数据如何让模型学会复制原文,也暴露了标注偏好与研究者预期的偏差。

4月23日周二
  1. OpenAI News62

    OpenAI 提出 Sparse Transformer,可处理长 30 倍的序列

    OpenAI 开发了 Sparse Transformer,这是一种深度神经网络,在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进,从比以往长 30 倍的序列中提取模式。

    推荐理由:OpenAI 用稀疏注意力把可建模序列拉长 30 倍,读者可了解长序列建模的早期技术路线。

2月14日周四
  1. OpenAI News73

    OpenAI 训练大规模无监督语言模型并取得多项基准最优表现

    OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。

    推荐理由:原文给出无监督语言模型在多项基准上的表现,可据此了解早期通用语言模型的训练思路。

6月11日周一
  1. OpenAI News82

    OpenAI 用无监督学习提升语言理解能力

    OpenAI 用 Transformer 与无监督预训练相结合的可扩展、与任务无关的系统,在一系列多样化语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,OpenAI 希望它推动在更大、更多样数据集上继续探索这一思路。

    推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了这套与任务无关的系统。

5月16日周三
  1. OpenAI News78

    OpenAI 分析:2012 年以来最大 AI 训练算力每 3.4 个月翻倍

    OpenAI 发布分析称,自 2012 年以来,最大规模 AI 训练所用算力呈指数增长,翻倍周期为 3.4 个月,而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍,若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分,若这一趋势延续,值得为远超当前能力的系统做准备。

    推荐理由:OpenAI 用一组量化数据说明 AI 训练算力的增长节奏,可与摩尔定律对照理解算力投入的长期趋势。

3月7日周三
  1. OpenAI News60

    OpenAI 提出可扩展元学习算法 Reptile

    OpenAI 开发了名为 Reptile 的简单元学习算法,通过反复采样任务、对任务执行随机梯度下降,并将初始参数朝该任务学到的最终参数更新。Reptile 是把 Shortest Descent 算法应用到元学习场景,在数学上与一阶 MAML 相似,只需对 SGD 或 Adam 等优化器进行黑盒访问,计算效率和性能相近。

    推荐理由:OpenAI 提出 Reptile 元学习算法,并说明它与一阶 MAML 的数学关系,便于理解其定位。

10月11日周三
  1. OpenAI News62

    OpenAI 发现自博弈让模拟 AI 自发学会身体技能

    OpenAI 发现自博弈能让模拟 AI 在未专门设计技能环境的情况下,自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自博弈还能让环境难度始终与 AI 水平匹配,从而持续推动其进步。结合此前的 Dota 2 自博弈结果,OpenAI 表示越来越确信自博弈将成为未来强大 AI 系统的核心部分。

    推荐理由:OpenAI 用自博弈让模拟智能体自发学会擒抱、假动作等身体技能,可与 Dota 2 结果对照理解自博弈的训练价值。