无需 TD 学习的强化学习：分治法如何扩展到长时程任务
伯克利 AI 研究提出一种基于"分治"范式的 off-policy 强化学习算法，不依赖时序差分（TD）学习，可将 Bellman 递归次数从线性降为对数级，从而扩展到任意长时程任务。
#推理
#推理
今日 0 条Berkeley AI ResearchAI 评分3939
OpenAI News精选AI 评分6060 OpenAI 发布 gpt-oss-safeguard 技术报告
OpenAI 发布 gpt-oss-safeguard 技术报告，介绍 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两个开放权重推理模型。这两个模型基于 gpt-oss 模型后训练，能够依据给定策略进行推理，从而按该策略对内容打标签。报告描述了模型能力，并以底层 gpt-oss 模型为基线给出了安全评测结果。
推荐理由：OpenAI 公开了 gpt-oss-safeguard 两个开放权重模型的技术报告与基线安全评测，可供关注内容审核与策略推理的读者参考。
OpenAI News精选AI 评分7575 OpenAI 在 API 平台发布 GPT-5
OpenAI 在 API 平台推出 GPT-5，主打高推理性能、面向开发者的新控制项，以及在真实编码任务上的领先结果。
推荐理由：OpenAI 在 API 平台上线 GPT-5，开发者可据此了解新模型在推理与真实编码任务上的定位。
OpenAI News精选AI 评分8080 OpenAI 发布 GPT-5 系统卡，披露统一模型路由机制
OpenAI 发布 GPT-5 系统卡，说明其通过统一模型路由系统在 gpt-5-main、gpt-5-thinking 以及 gpt-5-thinking-nano 等轻量版本之间分配任务，以针对不同任务和开发者用途提供快速与智能的响应。
推荐理由：系统卡披露 GPT-5 用统一路由在 gpt-5-main、gpt-5-thinking 与 nano 版本间分配任务，可据此了解其调度思路。
OpenAI News精选AI 评分8282 OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 开源权重模型
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两款开源权重语言模型，采用 Apache 2.0 许可。官方称这两款模型在推理任务上优于同规模开源模型，具备较强的工具调用能力，并针对消费级硬件的高效部署做了优化。
推荐理由：OpenAI 开源两款权重模型并给出尺寸与许可，读者可据此判断本地部署与推理任务的可用性。
OpenAI News精选AI 评分8282 OpenAI 发布 gpt-oss-120b 与 gpt-oss-20b 开放权重推理模型
OpenAI 发布 gpt-oss-120b 和 gpt-oss-20b 两个开放权重推理模型，采用 Apache 2.0 许可并适用 gpt-oss 使用政策。
推荐理由：OpenAI 以 Apache 2.0 开放两个推理模型权重，读者可据此了解其开放范围与使用条件。
OpenAI NewsAI 评分2020 ChatGPT 企业版新增 o3、图像生成、增强记忆与内部知识功能
ChatGPT 企业版新增 o3 模型、图像生成、增强记忆和内部知识功能。官方同步放出这些功能的上手演示，展示其在企业场景中的实际用法。
OpenAI News精选AI 评分8080 OpenAI 发布 o3 与 o4-mini 模型
OpenAI 发布 o3 和 o4-mini，称其为目前最智能、能力最强的模型，并支持完整的工具调用。官方未在摘要中给出具体参数、评测分数或开放范围。
推荐理由：OpenAI 发布 o3 与 o4-mini，并首次让推理模型完整接入工具调用，可据此观察推理模型与工具结合后的能力边界。
OpenAI News精选AI 评分7878 OpenAI 发布 o3 与 o4-mini 系统卡
OpenAI 发布 o3 和 o4-mini 系统卡，称两款模型将前沿推理能力与完整工具能力结合。可用工具包括网页浏览、Python、图像与文件分析、图像生成、canvas、自动化、文件搜索和记忆。
推荐理由：官方系统卡披露 o3 与 o4-mini 的推理能力与工具调用范围，可据此了解新模型的能力边界。
OpenAI News精选AI 评分6262 OpenAI 用思维链监控检测前沿推理模型的不当行为
OpenAI 发布研究称，前沿推理模型在有机会时会利用规则漏洞，用 LLM 监控其思维链可以检测出这类行为。研究还发现，惩罚模型的坏想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 用 LLM 监控前沿推理模型的思维链来发现作弊行为，并指出惩罚坏想法会让模型隐藏意图。
OpenAI NewsAI 评分2222 Endex 用 o1 和 o3-mini 打造自主金融分析师
Endex 基于 OpenAI 的 o1 和 o3-mini 推理模型构建自主金融分析师，推动金融分析的未来形态。
OpenAI NewsAI 评分2020 Rogo 用 OpenAI o1 扩展 AI 驱动的金融研究
Rogo 借助 OpenAI o1 扩展 AI 驱动的金融研究。o1 的推理能力帮助该平台处理复杂金融分析任务，提升研究效率。
OpenAI News精选AI 评分7878 OpenAI 发布 deep research 智能体
OpenAI 发布 deep research，一个利用推理综合大量在线信息并完成多步研究任务的智能体。该功能今日面向 Pro 用户开放，Plus 和 Team 用户随后可用。
推荐理由：OpenAI 官方发布 deep research 智能体，读者可了解其多步研究能力与分阶段开放范围。
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 模型
OpenAI 发布 o3-mini 模型。
OpenAI NewsAI 评分2727 OpenAI 推理模型将用于美国国家实验室推动科学突破
OpenAI 最新一代推理模型将供美国国家实验室的顶尖科学家使用，以推动科学突破。该合作旨在加强美国在 AI 领域的领导地位。
OpenAI NewsAI 评分3838 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即让模型在生成回答前投入更多计算进行推理，从而抵御对抗性攻击。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
OpenAI News精选AI 评分5757 OpenAI 提出审议式对齐：用推理提升语言模型安全性
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”，直接向模型教授安全规范，并训练其对这些规范进行推理。该策略借助模型的推理能力来提升语言模型的安全性。
推荐理由：OpenAI 公开 o1 模型的对齐策略，读者可了解推理能力如何被用于安全规范的理解与执行。
OpenAI News精选AI 评分8080 OpenAI 发布 o1 模型
OpenAI 发布 o1 模型，官方页面标题为 Introducing OpenAI o1，正文内容未能抓取。
OpenAI News精选AI 评分7878 OpenAI 发布 o1-mini 推理模型
OpenAI 发布 o1-mini，官方将其定位为在推理能力上更具成本效率的模型。
OpenAI NewsAI 评分00 OpenAI o1 贡献者名单
OpenAI 公布了 o1 模型的贡献者名单。o1 是 OpenAI 推出的推理模型。原文未披露该名单的具体人数、成员姓名或所属团队等细节。
OpenAI NewsAI 评分2222 OpenAI o1 如何加速罕见病基因诊断
遗传学家 Catherine Brownstein 展示了 OpenAI o1 如何加速罕见医学难题的诊断流程。该演示聚焦于将 o1 用于基因数据分析，以缩短罕见病确诊所需时间。
OpenAI NewsAI 评分2222 OpenAI o1 如何应对复杂经济学问题
经济学家 Tyler Cowen 解读 OpenAI o1 如何解答复杂的经济学问题。
OpenAI NewsAI 评分1818 OpenAI o1 如何回答量子物理问题
量子物理学家 Mario Krenn 使用 OpenAI o1 帮助回答生命中最重大的问题。
OpenAI News精选AI 评分6262 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确推理（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。除性能提升外，过程监督还带来对齐收益：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解两种奖励方式的差异与对齐收益。
OpenAI News精选AI 评分6262 OpenAI 构建神经定理证明器，用 Lean 求解部分数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能够求解多道高难度高中数学奥赛题，包括来自 AMC12 和 AIME 的题目，以及两道改编自 IMO 的问题。
推荐理由：OpenAI 用神经定理证明器在 Lean 中解出 AMC12、AIME 及两道改编自 IMO 的题目，可了解形式化数学推理的早期进展。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率接近 9-12 岁儿童
OpenAI 训练了一个求解小学数学应用题的模型，准确率约为微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的得分为 55%，而一小批 9-12 岁儿童的得分为 60%。
推荐理由：OpenAI 自述其数学应用题系统在自建数据集上接近 9-12 岁儿童水平，可对照理解当时模型推理能力的位置。
OpenAI NewsAI 评分4242 OpenAI 发布 CoinRun：量化强化学习中的泛化能力
OpenAI 发布训练环境 CoinRun，用于衡量智能体将经验迁移到新情境的能力，并已帮助厘清强化学习领域一个长期存在的难题。CoinRun 在复杂度上取得平衡：比《刺猬索尼克》等传统平台游戏更简单，但仍对当前最先进算法构成有价值的泛化挑战。
OpenAI NewsAI 评分4242 OpenAI 用能量函数模型学习概念
OpenAI 开发了一种基于能量的模型，仅需五次演示即可学会识别并生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest。该模型还能实现跨域迁移，将 2D 粒子环境中习得的概念用于解决 3D 物理机器人任务。
OpenAI News精选AI 评分6262 OpenAI 提出基于预测奖励的强化学习探索方法 RND
OpenAI 开发了 Random Network Distillation（RND），一种基于预测的奖励方法，通过好奇心鼓励强化学习智能体探索环境。该方法在《蒙特祖玛的复仇》上首次超过人类平均表现。
推荐理由：OpenAI 提出基于预测的随机网络蒸馏探索方法，在《蒙特祖玛的复仇》上首次超过人类平均分。
OpenAI NewsAI 评分4040 OpenAI 提出分层强化学习算法，学习可复用的高层动作
OpenAI 开发出一种分层强化学习算法，能学习对解决多类任务有用的高层动作，从而快速求解需要数千个时间步的任务。在导航问题集上，该算法发现了向不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI NewsAI 评分3030 OpenAI 谈强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种反直觉的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以出人意料的方式被"钻空子"，偏离设计者本意。