OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在生成回答前投入更多计算进行推理，从而抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
#论文/研究
#论文/研究
今日 1 条OpenAI NewsAI 评分3838
OpenAI News精选AI 评分5757 OpenAI 提出审议式对齐：用推理提升语言模型安全性
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”，直接向模型教授安全规范，并训练其对这些规范进行推理。该策略借助模型的推理能力来提升语言模型的安全性。
推荐理由：OpenAI 公开 o1 模型的对齐策略，读者可了解推理能力如何被用于安全规范的理解与执行。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据其 Preparedness Framework 进行的前沿风险评测。
推荐理由：OpenAI 官方披露 o1 与 o1-mini 发布前的安全评估流程，可了解其 Preparedness Framework 下的风险评测做法。
OpenAI NewsAI 评分3838 OpenAI 简化并稳定连续时间一致性模型，两步采样媲美扩散模型
OpenAI 对连续时间一致性模型进行了简化、稳定化与规模化，仅用两步采样即可达到与领先扩散模型相当的样本质量。
OpenAI NewsAI 评分2222 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名作出不同回应，并借助 AI 研究助手保护隐私。该评估聚焦 ChatGPT 的公平性问题。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取，仅标题可用。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，对人和机器都更可信。
OpenAI NewsAI 评分2020 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该系统面向真实世界的内容审核需求，强调稳健性与实用性。
OpenAI NewsAI 评分3535 OpenAI 提出训练一致性模型的改进技术
OpenAI 发布训练一致性模型的改进技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步采样出高质量数据。
OpenAI NewsAI 评分1515 OpenAI 提出 Consistency Models，实现快速生成
OpenAI 提出 Consistency Models，可在不依赖迭代采样的情况下实现图像、音频和视频生成，从而解决扩散模型生成速度慢的问题。扩散模型虽推动了这些生成领域的发展，但其迭代采样过程导致生成缓慢。
OpenAI NewsAI 评分4242 从 GPT-4 中提取概念：OpenAI 用稀疏自编码器识别 1600 万个模式
OpenAI 用可扩展的稀疏自编码器技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
OpenAI News精选AI 评分5252 OpenAI 发布 Model Spec
OpenAI 发布 Model Spec，用于说明其模型在行为与价值取向上的规范。原文正文未能获取，具体内容暂无法确认。
OpenAI News精选AI 评分6060 OpenAI 提出指令层级：训练 LLM 优先处理高权限指令
OpenAI 发布关于指令层级的研究，指出当前 LLM 容易受到提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由：OpenAI 提出指令层级训练思路，读者可了解模型如何区分不同优先级指令以抵御提示词注入。
OpenAI News精选AI 评分8282 OpenAI 发布 Sora：视频生成模型作为世界模拟器
OpenAI 公开视频生成模型 Sora，在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型，采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频，研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由：OpenAI 首次公开视频生成模型 Sora 的技术思路，读者可了解时空 patch 训练与规模化模拟物理世界的路径。
OpenAI News精选AI 评分4949 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在制定一套评估蓝图，用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
推荐理由：OpenAI 公布 LLM 生物威胁风险的评估蓝图，并给出 GPT-4 在专家与学生测试中的初步结果。
OpenAI News精选AI 评分6060 OpenAI 提出弱到强泛化的超级对齐研究方向
OpenAI 提出一个面向超级对齐的新研究方向，并给出初步结果：能否利用深度学习的泛化特性，用弱监督者控制更强的模型。材料仅提供摘要，未给出具体方法或实验细节。
推荐理由：OpenAI 提出用弱监督者控制强模型的对齐研究方向，并给出初步结果，可作为理解超级对齐问题的一个入口。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与风险方面的评估情况。
OpenAI News精选AI 评分7070 OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡，介绍该多模态模型在安全与部署方面的评估情况。
OpenAI News精选AI 评分6262 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。除性能提升外，过程监督还带来对齐收益：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解两种奖励方式的差异与对齐收益。
OpenAI News精选AI 评分6262 OpenAI 研究：用语言模型解释语言模型中的神经元
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动为 GPT-2 神经元生成并评分解释，并公开全部神经元的解释数据集。
OpenAI News精选AI 评分6262 GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取，仅标题可用。
OpenAI NewsAI 评分4040 OpenAI 与乔治城大学、斯坦福互联网天文台联合研究：语言模型如何被用于虚假信息宣传及风险缓解
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网天文台，研究大语言模型可能被用于虚假信息宣传的方式，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于放大虚假信息宣传会对信息环境构成的威胁，并提出了一套分析潜在缓解措施的框架。该合作还包括 2021 年 10 月一场汇集 30 位虚假信息研究者、机器学习专家与政策分析师的研讨会。
OpenAI News精选AI 评分5050 OpenAI 研究语言模型中间填充的高效训练方法
OpenAI 发布研究《Efficient training of language models to fill in the middle》，探讨语言模型中间填充任务的高效训练方法。原文正文未能抓取，仅标题可用。
OpenAI News精选AI 评分7474 OpenAI 用 Video PreTraining 训练神经网络玩 Minecraft
OpenAI 训练了一个神经网络，通过 Video PreTraining（VPT）在大量无标注的人类 Minecraft 游玩视频数据集上学习，仅使用少量标注的承包商数据。经微调后，该模型能学会制作钻石工具，这一任务通常需要熟练人类花费超过 20 分钟（24,000 次操作）。模型使用键盘按键和鼠标移动的原生人类交互界面，因此具有较强通用性，是迈向通用计算机操作智能体的一步。
推荐理由：OpenAI 用大量无标注人类游戏视频预训练网络，展示从少量标注数据到通用计算机操作智能体的路径。
OpenAI News精选AI 评分6060 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。更大的模型自我批评能力更强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统在困难任务上的表现展示了前景。
推荐理由：OpenAI 训练批评写作模型辅助人类发现摘要缺陷，为 AI 监督 AI 提供早期实验证据。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的问题。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分6262 OpenAI 发布 WebGPT：用网页浏览提升语言模型事实准确率
OpenAI 对 GPT-3 进行微调，使其能借助基于文本的网页浏览器更准确地回答开放式问题。
推荐理由：OpenAI 用文本浏览器微调 GPT-3 提升开放问答事实准确率，可了解早期检索增强思路。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率接近 9-12 岁儿童
OpenAI 训练了一个求解小学数学应用题的模型，准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的得分为 55%，而一小批 9-12 岁儿童的得分为 60%。
推荐理由：OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平，可对照理解当时模型推理能力的位置。
OpenAI News精选AI 评分5050 OpenAI 用人类反馈总结书籍
OpenAI 发布文章《Summarizing books with human feedback》，介绍如何将人类监督扩展到难以评估的任务上。
OpenAI NewsAI 评分4040 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI News精选AI 评分5252 OpenAI 在 CLIP 中发现多模态神经元
OpenAI 在 CLIP 中发现了一类多模态神经元，无论概念以字面、符号还是概念化形式呈现，它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现，也是理解 CLIP 及类似模型所学关联与偏置的重要一步。
推荐理由：OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元，为理解其分类准确性与习得偏置提供线索。
OpenAI News精选AI 评分6262 OpenAI 用人类反馈训练摘要模型
OpenAI 将人类反馈强化学习（RLHF）应用于语言模型训练，使其在摘要任务上表现更好。
推荐理由：OpenAI 把人类反馈强化学习用于摘要任务，可了解 RLHF 早期在语言模型训练中的一次具体应用。
OpenAI News精选AI 评分6262 OpenAI 发布 Image GPT：用 Transformer 生成图像
OpenAI 发现，与在语言上训练的大型 Transformer 模型一样，同一模型在像素序列上训练后也能生成连贯的图像补全和样本。通过建立样本质量与图像分类准确率之间的相关性，研究显示其最佳生成模型在无监督设定下所含特征可与顶级卷积网络竞争。
推荐理由：OpenAI 用同一套 Transformer 架构处理像素序列，并给出生成质量与分类精度相关的证据。
OpenAI News精选AI 评分6262 OpenAI 分析：训练同等性能神经网络所需算力每 16 个月减半
OpenAI 发布一项分析，指出自 2012 年以来，在 ImageNet 分类任务上训练达到同等性能的神经网络所需算力每 16 个月减少一半。相比 2012 年，训练达到 AlexNet 水平的网络所需算力已减少 44 倍，而同期摩尔定律带来的成本改善约为 11 倍。分析认为，在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 训练算力数据量化算法进步速度，可与摩尔定律对照理解 AI 效率来源。
OpenAI NewsAI 评分3434 OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与发布了一份由 30 家机构 58 位作者共同撰写的报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可借助这些工具证明 AI 系统安全、可靠、公平或保护隐私，用户、政策制定者与公民社会也可据此评估 AI 开发过程。
OpenAI News精选AI 评分6262 OpenAI 发布 Dota 2 大规模深度强化学习研究
OpenAI 发布关于 Dota 2 大规模深度强化学习的研究，原文正文未能抓取，仅标题可用。
OpenAI NewsAI 评分4242 OpenAI 研究：深度神经网络中的双重下降现象
OpenAI 发现双重下降现象在 CNN、ResNet 和 Transformer 中普遍存在：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升，这种效应通常可通过精细的正则化避免。该行为看似相当普遍，但其成因尚未被完全理解，OpenAI 将其视为重要的研究方向。
OpenAI NewsAI 评分3838 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个易于使用的程序化生成环境，用于直接衡量强化学习智能体学习可泛化技能的速度。
OpenAI News精选AI 评分8080 OpenAI 用机械手解魔方：纯仿真训练加 ADR
OpenAI 训练了一对神经网络，让类人机械手解开魔方。神经网络完全在仿真中训练，使用与 OpenAI Five 相同的强化学习代码，并搭配名为 Automatic Domain Randomization（ADR）的新技术。系统能应对训练中从未见过的情况，例如被毛绒长颈鹿戳碰，说明强化学习不只适用于虚拟任务，也能解决需要高灵巧度的物理世界问题。
推荐理由：OpenAI 用仿真训练加 ADR 让机械手解魔方，读者可了解强化学习从虚拟任务走向物理操作的关键思路。
OpenAI News精选AI 评分6767 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 60k 条人类标注，而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何让模型学会复制原文，也暴露了标注偏好与研究者预期的偏差。