OpenAI 发布 GPT-4
OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本,或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,摘要点出其在创意与技术写作任务上的生成、编辑与迭代能力。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本,或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,摘要点出其在创意与技术写作任务上的生成、编辑与迭代能力。
OpenAI 宣布推出新的嵌入向量模型,称其在能力上显著提升,同时成本更低、使用更简单。
OpenAI 训练并发布对话式模型 ChatGPT,以对话形式与用户交互。官方称这种对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由:OpenAI 官方给出 ChatGPT 的对话式交互定位,读者可据此了解其与以往模型在交互方式上的差异。
OpenAI 训练并开源了神经网络 Whisper,其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。
OpenAI 发布 GPT-3 和 Codex 的新版本,可在已有文本中编辑或插入内容,而不再只是续写现有文本。
推荐理由:原文说明 GPT-3 与 Codex 新增编辑和插入能力,读者可据此了解模型从续写扩展到改写已有文本。
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、有害内容更少,相关技术来自其对齐研究。这些模型采用人类参与反馈的训练方式,现已作为 OpenAI API 的默认语言模型部署。
推荐理由:OpenAI 说明 InstructGPT 通过人类反馈训练,在遵循用户意图、真实性和有害性上优于 GPT-3,并已成为 API 默认模型。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言描述生成图像,覆盖自然语言可表达的广泛概念。
推荐理由:OpenAI 官方公布 DALL·E 这一从文本生成图像的神经网络,可据此了解文生图方向的早期起点。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 介绍 CLIP 用自然语言监督学习视觉概念,读者可了解零样本图像分类的思路来源。
OpenAI 推出 Jukebox,一个能生成音乐原始音频的神经网络,涵盖多种曲风和艺术家风格,并包含初步的歌唱声。OpenAI 同时公开了模型权重和代码,以及一个用于探索生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。
OpenAI 发布 GPT-2 最大版本(1.5B 参数),同时开放代码和模型权重,用于帮助检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布的最后一步,尽管自 8 月以来已有更大的语言模型发布,OpenAI 仍按原计划完成整个分阶段发布流程,希望为未来强大模型的开发者提供参考案例。
推荐理由:OpenAI 公布 GPT-2 分阶段发布的最后一步,读者可了解其负责任发布流程的完整样本。
OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已先后放出 124M 小模型和 355M 中模型。OpenAI 同时发布一份开源法律协议,方便机构之间建立模型共享合作,并发布技术报告,介绍与更广泛 AI 研究社区协调发布规范的经验。
推荐理由:OpenAI 按分阶段发布节奏放出 GPT-2 最大版本,并给出模型共享的法律协议模板,可观察大模型开放与滥用防范之间的取舍。
OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。
推荐理由:OpenAI 用与 GPT-2 相同的通用无监督技术训练音乐生成模型,读者可了解这套架构向音频领域的迁移路径。
OpenAI 训练了一个大规模无监督语言模型,能够生成连贯的段落文本,在多项语言建模基准上取得当时最优表现。该模型无需针对特定任务训练,即可完成基础的阅读理解、机器翻译、问答和摘要任务。
推荐理由:原文给出无监督语言模型在多项基准上的表现,可据此了解早期通用语言模型的训练思路。