OpenAI 提出指令层级:训练 LLM 优先处理高权限指令
OpenAI 发布关于指令层级的研究,指出当前 LLM 容易受到提示词注入、越狱等攻击,攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由:OpenAI 提出指令层级训练思路,读者可了解模型如何区分不同优先级指令以抵御提示词注入。
OpenAI 的全部动态:GPT 系列模型、ChatGPT 与 Sora 产品、公司战略与人事的持续追踪。
OpenAI 发布关于指令层级的研究,指出当前 LLM 容易受到提示词注入、越狱等攻击,攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由:OpenAI 提出指令层级训练思路,读者可了解模型如何区分不同优先级指令以抵御提示词注入。
OpenAI 宣布让用户无需注册即可直接使用 ChatGPT,以便更轻松地体验 AI 带来的好处。
推荐理由:OpenAI 官方宣布 ChatGPT 无需注册即可使用,读者可据此了解其降低使用门槛的具体做法。
OpenAI 宣布审查已完成,Altman 和 Brockman 将继续领导 OpenAI,同时任命了新董事会成员并引入治理结构方面的改进。
推荐理由:OpenAI 公布治理审查结果与董事会调整,读者可了解其管理层与治理结构的最新安排。
OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频,研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术思路,读者可了解时空 patch 训练与规模化模拟物理世界的路径。
OpenAI 发布公告,称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取,仅标题可用。
OpenAI 正在测试让 ChatGPT 记住用户讨论过的内容,以便让后续对话更有帮助。用户对 ChatGPT 的记忆拥有控制权。
推荐理由:OpenAI 官方披露 ChatGPT 记忆功能的测试方向,读者可据此了解其能力边界与用户控制方式。
OpenAI 正在制定一套评估蓝图,用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中,OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论,但该发现是后续研究和社区讨论的起点。
推荐理由:OpenAI 公布 LLM 生物威胁风险的评估蓝图,并给出 GPT-4 在专家与学生测试中的初步结果。
OpenAI 发布新的嵌入模型,并同步更新 API。
OpenAI 发布 GPT Store。
OpenAI 提出一个面向超级对齐的新研究方向,并给出初步结果:能否利用深度学习的泛化特性,用弱监督者控制更强的模型。材料仅提供摘要,未给出具体方法或实验细节。
推荐理由:OpenAI 提出用弱监督者控制强模型的对齐研究方向,并给出初步结果,可作为理解超级对齐问题的一个入口。
OpenAI 宣布 Sam Altman 回归担任 CEO,Mira Murati 继续担任 CTO,Greg Brockman 回归担任总裁,公司同时成立新的初始董事会。官方还附上了 CEO Sam Altman 与董事会主席 Bret Taylor 的致辞。
推荐理由:OpenAI 官方确认 Sam Altman 回归 CEO 并公布新一届初始董事会,读者可据此了解这场人事风波的最终安排。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,并推出 GPT-4 Turbo with Vision、Assistants API 和 DALL·E 3 API 等开发者产品。
推荐理由:OpenAI 在 DevDay 一次性公布模型与开发者产品,可据此了解其 API 能力与价格走向。
OpenAI 推出 GPTs,用户现在可以创建自定义版本的 ChatGPT,将指令、额外知识和任意技能组合在一起。该功能由 OpenAI 官方发布。
推荐理由:OpenAI 官方开放 ChatGPT 自定义版本,读者可据此了解提示词、知识与技能组合的搭建方式。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用。为支持更大范围发布,OpenAI 开发了一套安全缓解方案,并同步分享了其在内容来源溯源方面的研究更新。
推荐理由:OpenAI 官方说明 DALL·E 3 面向 ChatGPT Plus 与 Enterprise 开放,并同步披露安全缓解与来源溯源研究进展。
OpenAI 发布 DALL·E 3 系统卡,用于说明该图像生成模型在安全与风险方面的评估情况。
OpenAI 宣布 ChatGPT 新增看、听、说能力,可处理图像与语音输入并语音回复。
OpenAI 发布 GPT-4V(ision) 系统卡,介绍该多模态模型在安全与部署方面的评估情况。
OpenAI 发布 ChatGPT Enterprise,主打企业级安全与隐私,并称其为目前能力最强的 ChatGPT 版本。官方公告未披露更多功能细节与定价信息。
推荐理由:OpenAI 官方发布面向企业的 ChatGPT 版本,读者可了解其安全隐私定位与能力版本信息。
OpenAI 宣布开发者现在可以用自己的数据微调 GPT-3.5 Turbo,以适配各自的使用场景,同时更新了 API。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,是当时少数可微调的主流商用模型之一。
OpenAI 为 ChatGPT 推出自定义指令功能,用户可设置自己的偏好,ChatGPT 会在之后所有对话中记住这些偏好。
推荐理由:OpenAI 官方为 ChatGPT 加入自定义指令,读者可了解用户偏好如何跨对话持续生效。