GPTs are GPTs:大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究,初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取,仅标题可用。
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
OpenAI 发布题为 GPTs are GPTs 的研究,初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取,仅标题可用。
Hugging Face Blog 发布了一篇论文,探讨了在 24GB 消费级 GPU 上使用 RLHF 微调 20B LLMs 的方法。
推荐理由:原文探讨了在消费级 GPU 上进行大型语言模型微调的可行性,对相关研究人员和开发者具有参考价值。
Kakao Brain 发布了新的 ViT 和 ALIGN 模型,这些模型在开源社区中可用。
推荐理由:原文介绍了新的 ViT 和 ALIGN 模型,读者可以了解这些模型的特点和潜在应用。
Hugging Face Blog 发布了关于强化学习从人类反馈中学习方法的论文,介绍了相关研究进展。
推荐理由:原文探讨了强化学习从人类反馈中学习的方法,读者可以了解该领域的研究进展。
Hugging Face Blog 发布了一篇论文,探讨了使用同态加密在加密数据上执行情感分析的方法。
推荐理由:原文探讨了使用同态加密在加密数据上进行情感分析的方法,对数据隐私保护有重要意义。
OpenAI 发布研究《Efficient training of language models to fill in the middle》,探讨语言模型中间填充任务的高效训练方法。原文正文未能抓取,仅标题可用。
OpenAI 训练了一个神经网络,通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频数据集上学习,仅使用少量标注的承包商数据。经微调后,该模型能学会制作钻石工具,这一任务通常需要熟练人类花费超过 20 分钟(24,000 次操作)。模型使用键盘按键和鼠标移动的原生人类交互界面,因此具有较强通用性,是迈向通用计算机操作智能体的一步。
推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,展示从少量标注数据到通用计算机操作智能体的路径。
OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型批评后,发现摘要缺陷的频率明显提高。更大的模型自我批评能力更强,规模对批评写作的提升大于对摘要写作的提升,这为用 AI 系统辅助人类监督 AI 系统在困难任务上的表现展示了前景。
推荐理由:OpenAI 训练批评写作模型辅助人类发现摘要缺陷,为 AI 监督 AI 提供早期实验证据。
OpenAI 构建了一个面向 Lean 的神经定理证明器,能够求解多道高难度高中数学奥赛题,包括来自 AMC12 和 AIME 的题目,以及两道改编自 IMO 的问题。
推荐理由:OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目,可了解形式化数学推理的早期进展。
OpenAI 对 GPT-3 进行微调,使其能借助基于文本的网页浏览器更准确地回答开放式问题。
推荐理由:OpenAI 用文本浏览器微调 GPT-3 提升开放问答事实准确率,可了解早期检索增强思路。
OpenAI 训练了一个求解小学数学应用题的模型,准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的得分为 55%,而一小批 9-12 岁儿童的得分为 60%。
推荐理由:OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平,可对照理解当时模型推理能力的位置。
Hugging Face Blog 发表了一篇论文,提出了大型语言模型的新摩尔定律,探讨了其对AI发展的潜在影响。
推荐理由:原文提出了大型语言模型的新摩尔定律,读者可以了解其对AI发展的潜在影响。
OpenAI 发布文章《Summarizing books with human feedback》,介绍如何将人类监督扩展到难以评估的任务上。
OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。
推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。
OpenAI 将人类反馈强化学习(RLHF)应用于语言模型训练,使其在摘要任务上表现更好。
推荐理由:OpenAI 把人类反馈强化学习用于摘要任务,可了解 RLHF 早期在语言模型训练中的一次具体应用。
OpenAI 发现,与在语言上训练的大型 Transformer 模型一样,同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性,研究显示其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由:OpenAI 用同一套 Transformer 架构处理像素序列,并给出生成质量与分类精度相关的证据。
OpenAI 发布一项分析,指出自 2012 年以来,在 ImageNet 分类任务上训练达到同等性能的神经网络所需算力每 16 个月减少一半。相比 2012 年,训练达到 AlexNet 水平的网络所需算力已减少 44 倍,而同期摩尔定律带来的成本改善约为 11 倍。分析认为,在近期投入较高的 AI 任务上,算法进步带来的收益超过传统硬件效率提升。
推荐理由:OpenAI 用 ImageNet 训练算力数据量化算法进步速度,可与摩尔定律对照理解 AI 效率来源。
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究,原文正文未能抓取,仅标题可用。
OpenAI 训练了一对神经网络,让类人机械手解开魔方。神经网络完全在仿真中训练,使用与 OpenAI Five 相同的强化学习代码,并搭配名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被毛绒长颈鹿戳碰,说明强化学习不只适用于虚拟任务,也能解决需要高灵巧度的物理世界问题。
推荐理由:OpenAI 用仿真训练加 ADR 让机械手解魔方,读者可了解强化学习从虚拟任务走向物理操作的关键思路。
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调,在多项任务上成功匹配外部人类标注者的偏好,但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中,标注者偏好直接从输入中整句复制的内容,模型因此学会了复制;摘要任务需要 60k 条人类标注,而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由:OpenAI 用人类反馈微调 GPT-2 的早期实验,展示了偏好数据如何让模型学会复制原文,也暴露了标注偏好与研究者预期的偏差。