OpenAI 介绍 DALL·E 2 研究预览中的艺术家使用情况
OpenAI 在 DALL·E 2 研究预览中,已有来自 118 个以上国家的 3000 多名艺术家将 DALL·E 纳入创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:原文给出 DALL·E 2 研究预览中艺术家的使用规模,读者可据此了解早期创作者如何参与产品功能决策。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 在 DALL·E 2 研究预览中,已有来自 118 个以上国家的 3000 多名艺术家将 DALL·E 纳入创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在其决定 DALL·E 功能时提供了关键意见。
推荐理由:原文给出 DALL·E 2 研究预览中艺术家的使用规模,读者可据此了解早期创作者如何参与产品功能决策。
OpenAI 训练了一个神经网络,通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频数据集上学习,仅使用少量标注的承包商数据。经微调后,该模型能学会制作钻石工具,这一任务通常需要熟练人类花费超过 20 分钟(24,000 次操作)。模型使用键盘按键和鼠标移动的原生人类交互界面,因此具有较强通用性,是迈向通用计算机操作智能体的一步。
推荐理由:OpenAI 用大量无标注人类游戏视频预训练网络,展示从少量标注数据到通用计算机操作智能体的路径。
OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型批评后,发现摘要缺陷的频率明显提高。更大的模型自我批评能力更强,规模对批评写作的提升大于对摘要写作的提升,这为用 AI 系统辅助人类监督 AI 系统在困难任务上的表现展示了前景。
推荐理由:OpenAI 训练批评写作模型辅助人类发现摘要缺陷,为 AI 监督 AI 提供早期实验证据。
OpenAI 更新 DALL·E 2 研究预览进展,早期用户迄今已生成超过 300 万张图像,并帮助改进了安全流程。OpenAI 表示将开始每周从候补名单中新增最多 1000 名用户。
推荐理由:官方披露 DALL·E 2 预览期的用户规模与每周放量节奏,可据此了解其早期开放进度。
OpenAI 发布 GPT-3 和 Codex 的新版本,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:原文说明 GPT-3 与 Codex 新增编辑和插入能力,读者可据此了解模型从续写扩展到改写已有文本。
OpenAI 构建了一个面向 Lean 的神经定理证明器,能够求解多道高难度高中数学奥赛题,包括来自 AMC12 和 AIME 的题目,以及两道改编自 IMO 的问题。
推荐理由:OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目,可了解形式化数学推理的早期进展。
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、有害内容更少,相关技术来自其对齐研究。这些模型采用人类参与反馈的训练方式,现已作为 OpenAI API 的默认语言模型部署。
推荐理由:OpenAI 说明 InstructGPT 通过人类反馈训练,在遵循用户意图、真实性和有害性上优于 GPT-3,并已成为 API 默认模型。
OpenAI 在 API 中新增 embeddings 端点,用于自然语言和代码任务,例如语义搜索、聚类、主题建模和分类。
推荐理由:OpenAI 在 API 中新增 embeddings 端点,读者可据此了解语义搜索与聚类等任务的接入方式。
OpenAI 对 GPT-3 进行微调,使其能借助基于文本的网页浏览器更准确地回答开放式问题。
推荐理由:OpenAI 用文本浏览器微调 GPT-3 提升开放问答事实准确率,可了解早期检索增强思路。
OpenAI 发布文章介绍如何为应用定制 GPT-3,指出可通过单条命令完成微调。
OpenAI 宣布其 API 不再需要等待名单,可直接使用。官方称这一更广泛的开放得益于安全方面的进展。
推荐理由:OpenAI API 取消等待名单,读者可据此判断接入门槛的变化。
OpenAI 训练了一个求解小学数学应用题的模型,准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的得分为 55%,而一小批 9-12 岁儿童的得分为 60%。
推荐理由:OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平,可对照理解当时模型推理能力的位置。
OpenAI 发布文章《Summarizing books with human feedback》,介绍如何将人类监督扩展到难以评估的任务上。
OpenAI 发布改进版 Codex,这是其将自然语言转换为代码的 AI 系统,从今天起通过 API 以私测形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并开放 API 私测,读者可了解自然语言转代码能力的落地入口。
OpenAI 发布 Triton 1.0,这是一门类 Python 的开源编程语言,让没有 CUDA 经验的研究者也能编写高效的 GPU 代码,性能多数情况下可达到专家水平。
推荐理由:OpenAI 开源 Triton 1.0,让没有 CUDA 经验的研究者也能写出接近专家水平的 GPU 代码。
OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。
推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。
OpenAI 将 Kubernetes 集群扩展到 7500 节点,为 GPT-3、CLIP、DALL·E 等大模型提供可扩展的基础设施,同时也支持小规模快速迭代研究,例如 Scaling Laws for Neural Language Models。
推荐理由:OpenAI 公开将 Kubernetes 集群扩展到 7500 节点的实践,为大规模模型训练的基础设施选型提供一手参考。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言描述生成图像,覆盖自然语言可表达的广泛概念。
推荐理由:OpenAI 官方公布 DALL·E 这一从文本生成图像的神经网络,可据此了解文生图方向的早期起点。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 介绍 CLIP 用自然语言监督学习视觉概念,读者可了解零样本图像分类的思路来源。
OpenAI 宣布已同意将 GPT-3 授权给 Microsoft,用于其自有产品和服务。
推荐理由:OpenAI 将 GPT-3 授权给 Microsoft 用于其自有产品和服务,是理解双方后续合作起点的一条背景信息。