跳到正文

论文研究

值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。

最新精选

第 441–460 条 · 共 481 条
3月17日周五
3月9日周四
3月6日周一
12月9日周五
11月17日周四
7月28日周四
6月23日周四
  1. OpenAI News74

    OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft

    OpenAI 训练了一个神经网络,通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频数据集上学习,仅使用少量标注的承包商数据。经微调后,该模型能学会制作钻石工具,这一任务通常需要熟练人类花费超过 20 分钟(24,000 次操作)。模型使用键盘按键和鼠标移动的原生人类交互界面,因此具有较强通用性,是迈向通用计算机操作智能体的一步。

    推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,展示从少量标注数据到通用计算机操作智能体的路径。

6月13日周一
  1. OpenAI News60

    OpenAI 训练批评写作模型帮助人类发现摘要缺陷

    OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型批评后,发现摘要缺陷的频率明显提高。更大的模型自我批评能力更强,规模对批评写作的提升大于对摘要写作的提升,这为用 AI 系统辅助人类监督 AI 系统在困难任务上的表现展示了前景。

    推荐理由:OpenAI 训练批评写作模型辅助人类发现摘要缺陷,为 AI 监督 AI 提供早期实验证据。

2月2日周三
12月16日周四
10月29日周五
  1. OpenAI News62

    OpenAI 训练系统求解小学数学应用题,准确率接近 9-12 岁儿童

    OpenAI 训练了一个求解小学数学应用题的模型,准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的得分为 55%,而一小批 9-12 岁儿童的得分为 60%。

    推荐理由:OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平,可对照理解当时模型推理能力的位置。

10月26日周二
9月23日周四
3月4日周四
  1. OpenAI News52

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。

    推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。

9月4日周五
6月17日周三
  1. OpenAI News62

    OpenAI 发布 Image GPT:用 Transformer 生成图像

    OpenAI 发现,与在语言上训练的大型 Transformer 模型一样,同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性,研究显示其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。

    推荐理由:OpenAI 用同一套 Transformer 架构处理像素序列,并给出生成质量与分类精度相关的证据。

5月5日周二
  1. OpenAI News62

    OpenAI 分析:训练同等性能神经网络所需算力每 16 个月减半

    OpenAI 发布一项分析,指出自 2012 年以来,在 ImageNet 分类任务上训练达到同等性能的神经网络所需算力每 16 个月减少一半。相比 2012 年,训练达到 AlexNet 水平的网络所需算力已减少 44 倍,而同期摩尔定律带来的成本改善约为 11 倍。分析认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。

    推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对照理解 AI 效率来源。

12月13日周五
10月15日周二
  1. OpenAI News80

    OpenAI 用机械手解魔方:纯仿真训练加 ADR

    OpenAI 训练了一对神经网络,让类人机械手解开魔方。神经网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并搭配名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被毛绒长颈鹿戳碰,说明强化学习不只适用于虚拟任务,也能解决需要高灵巧度的物理世界问题。

    推荐理由:OpenAI 用仿真训练加 ADR 让机械手解魔方,读者可了解强化学习从虚拟任务走向物理操作的关键思路。

9月19日周四
  1. OpenAI News67

    OpenAI 用人类偏好微调 774M 参数 GPT-2

    OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调,在多项任务上成功匹配外部人类标注者的偏好,但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中,标注者偏好直接从输入中整句复制的内容,模型因此学会了复制;摘要任务需要 60k 条人类标注,而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。

    推荐理由:OpenAI 用人类反馈微调 GPT-2 的早期实验,展示了偏好数据如何让模型学会复制原文,也暴露了标注偏好与研究者预期的偏差。