OpenAI 提出指令层级：训练 LLM 优先处理高权限指令
OpenAI 发布关于指令层级的研究，指出当前 LLM 容易受到提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由：OpenAI 提出指令层级训练思路，读者可了解模型如何区分不同优先级指令以抵御提示词注入。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 301–310 条 · 共 310 条OpenAI News精选AI 评分6060
OpenAI News精选AI 评分4848 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取，仅标题可用。
OpenAI News精选AI 评分4949 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在制定一套评估蓝图，用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
推荐理由：OpenAI 公布 LLM 生物威胁风险的评估蓝图，并给出 GPT-4 在专家与学生测试中的初步结果。
OpenAI News精选AI 评分6060 OpenAI 提出弱到强泛化的超级对齐研究方向
OpenAI 提出一个面向超级对齐的新研究方向，并给出初步结果：能否利用深度学习的泛化特性，用弱监督者控制更强的模型。材料仅提供摘要，未给出具体方法或实验细节。
推荐理由：OpenAI 提出用弱监督者控制强模型的对齐研究方向，并给出初步结果，可作为理解超级对齐问题的一个入口。
OpenAI News精选AI 评分6060 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。更大的模型自我批评能力更强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统在困难任务上的表现展示了前景。
推荐理由：OpenAI 训练批评写作模型辅助人类发现摘要缺陷，为 AI 监督 AI 提供早期实验证据。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、有害内容更少，相关技术来自其对齐研究。这些模型采用人类参与反馈的训练方式，现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和有害性上优于 GPT-3，并已成为 API 默认模型。
OpenAI News精选AI 评分5252 OpenAI 发布 Safety Gym 安全强化学习环境套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具。该套件面向安全约束下的强化学习智能体评测。
推荐理由：OpenAI 发布用于衡量强化学习智能体安全约束遵守情况的环境与工具套件，读者可了解其评测目标。
OpenAI News精选AI 评分6767 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 60k 条人类标注，而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何让模型学会复制原文，也暴露了标注偏好与研究者预期的偏差。
OpenAI News精选AI 评分6262 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作，共同撰写了一篇论文，预测恶意行为者可能如何滥用 AI 技术，以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。
推荐理由：OpenAI 与多家机构合作近一年，梳理 AI 被恶意滥用的可能路径与防范思路。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 提出从人类偏好中学习目标的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两种候选行为哪个更好，来推断人类想要的目标。该方法旨在省去人工编写目标函数的环节，因为用简单代理替代复杂目标或目标设定稍有偏差，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。