OpenAI 研究错误回答训练如何导致模型失准泛化
OpenAI 研究在错误回答上训练如何导致语言模型出现更广泛的失准,并识别出驱动这一行为的内部特征。该特征可通过极少量微调被逆转。
推荐理由:OpenAI 给出错误回答训练引发模型泛化失准的内部特征,并展示用极少微调逆转该行为。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
OpenAI 研究在错误回答上训练如何导致语言模型出现更广泛的失准,并识别出驱动这一行为的内部特征。该特征可通过极少量微调被逆转。
推荐理由:OpenAI 给出错误回答训练引发模型泛化失准的内部特征,并展示用极少微调逆转该行为。
Cosmopedia 是一个工具,用于创建大规模合成数据,以支持预训练大型语言模型的数据准备。
推荐理由:介绍了如何创建大规模合成数据,对预训练大型语言模型的数据准备有指导意义。
OpenAI 训练了一个模型,通过奖励每一步正确推理(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。除性能提升外,过程监督还带来对齐收益:直接训练模型产出被人类认可的思维链。
推荐理由:OpenAI 用过程监督替代结果监督训练数学推理模型,读者可了解两种奖励方式的差异与对齐收益。
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释,并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集,并说明这些解释并不完美。
推荐理由:OpenAI 用 GPT-4 自动为 GPT-2 神经元生成并评分解释,并公开全部神经元的解释数据集。
Hugging Face 博客介绍了 LoRA 技术在 Stable Diffusion 微调中的应用,提供了高效微调的方法。
推荐理由:LoRA 技术在 Stable Diffusion 微调中的应用,对需要高效微调的读者有参考价值。
Hugging Face Blog 发布了一篇论文,探讨了使用同态加密在加密数据上执行情感分析的方法。
推荐理由:原文探讨了使用同态加密在加密数据上进行情感分析的方法,对数据隐私保护有重要意义。
OpenAI 发布研究《Efficient training of language models to fill in the middle》,探讨语言模型中间填充任务的高效训练方法。原文正文未能抓取,仅标题可用。
OpenAI 训练了一个神经网络,通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频数据集上学习,仅使用少量标注的承包商数据。经微调后,该模型能学会制作钻石工具,这一任务通常需要熟练人类花费超过 20 分钟(24,000 次操作)。模型使用键盘按键和鼠标移动的原生人类交互界面,因此具有较强通用性,是迈向通用计算机操作智能体的一步。
推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,展示从少量标注数据到通用计算机操作智能体的路径。
OpenAI 构建了一个面向 Lean 的神经定理证明器,能够求解多道高难度高中数学奥赛题,包括来自 AMC12 和 AIME 的题目,以及两道改编自 IMO 的问题。
推荐理由:OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目,可了解形式化数学推理的早期进展。
OpenAI 训练了一个求解小学数学应用题的模型,准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的得分为 55%,而一小批 9-12 岁儿童的得分为 60%。
推荐理由:OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平,可对照理解当时模型推理能力的位置。
OpenAI 发布文章《Summarizing books with human feedback》,介绍如何将人类监督扩展到难以评估的任务上。
OpenAI 将人类反馈强化学习(RLHF)应用于语言模型训练,使其在摘要任务上表现更好。
推荐理由:OpenAI 把人类反馈强化学习用于摘要任务,可了解 RLHF 早期在语言模型训练中的一次具体应用。
OpenAI 发布一项分析,指出自 2012 年以来,在 ImageNet 分类任务上训练达到同等性能的神经网络所需算力每 16 个月减少一半。相比 2012 年,训练达到 AlexNet 水平的网络所需算力已减少 44 倍,而同期摩尔定律带来的成本改善约为 11 倍。分析认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。
推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对照理解 AI 效率来源。
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调,在多项任务上成功匹配外部人类标注者的偏好,但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中,标注者偏好直接从输入中整句复制的内容,模型因此学会了复制;摘要任务需要 60k 条人类标注,而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由:OpenAI 用人类反馈微调 GPT-2 的早期实验,展示了偏好数据如何让模型学会复制原文,也暴露了标注偏好与研究者预期的偏差。
OpenAI 开发了 Sparse Transformer,这是一种深度神经网络,在预测文本、图像或声音序列中下一个内容的任务上创下新纪录。它通过对注意力机制做算法改进,从比以往长 30 倍的序列中提取模式。
推荐理由:OpenAI 用稀疏注意力把可建模序列拉长 30 倍,读者可了解长序列建模的早期技术路线。
OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由:原文给出无监督语言模型在多项基准上的表现,可据此了解早期通用语言模型的训练思路。
OpenAI 用 Transformer 与无监督预训练相结合的可扩展、与任务无关的系统,在一系列多样化语言任务上取得当时最优结果,并对外发布了该系统。这一结果说明监督学习方法与无监督预训练搭配效果很好,OpenAI 希望它推动在更大、更多样数据集上继续探索这一思路。
推荐理由:OpenAI 用 Transformer 加无监督预训练在多项语言任务上取得当时最优结果,并公开了这套与任务无关的系统。
OpenAI 发布分析称,自 2012 年以来,最大规模 AI 训练所用算力呈指数增长,翻倍周期为 3.4 个月,而摩尔定律的翻倍周期为 2 年。同一时期该指标增长超过 300,000 倍,若按 2 年翻倍则仅增长 7 倍。OpenAI 表示算力提升是 AI 进展的关键组成部分,若这一趋势延续,值得为远超当前能力的系统做准备。
推荐理由:OpenAI 用一组量化数据说明 AI 训练算力的增长节奏,可与摩尔定律对照理解算力投入的长期趋势。
OpenAI 开发了名为 Reptile 的简单元学习算法,通过反复采样任务、对任务执行随机梯度下降,并将初始参数朝该任务学到的最终参数更新。Reptile 是把 Shortest Descent 算法应用到元学习场景,在数学上与一阶 MAML 相似,只需对 SGD 或 Adam 等优化器进行黑盒访问,计算效率和性能相近。
推荐理由:OpenAI 提出 Reptile 元学习算法,并说明它与一阶 MAML 的数学关系,便于理解其定位。
OpenAI 发现自博弈能让模拟 AI 在未专门设计技能环境的情况下,自行学会擒抱、闪避、假动作、踢球、接球和扑球等身体技能。自博弈还能让环境难度始终与 AI 水平匹配,从而持续推动其进步。结合此前的 Dota 2 自博弈结果,OpenAI 表示越来越确信自博弈将成为未来强大 AI 系统的核心部分。
推荐理由:OpenAI 用自博弈让模拟智能体自发学会擒抱、假动作等身体技能,可与 Dota 2 结果对照理解自博弈的训练价值。