OpenAI 如何打击网络儿童性剥削与虐待
OpenAI 通过严格的使用政策、先进的检测工具和行业协作，阻止、举报并预防 AI 被滥用于网络儿童性剥削与虐待。
#安全/对齐
#安全/对齐
今日 1 条OpenAI NewsAI 评分2020
OpenAI News精选AI 评分6060 OpenAI 与 Apollo Research 发布 AI 模型隐藏失配的检测与缓解研究
Apollo Research 与 OpenAI 开发了针对隐藏失配（scheming）的评测方法，在前沿模型的受控测试中发现了与 scheming 一致的行为。团队还分享了用于减少 scheming 的早期方法的具体案例与压力测试。
推荐理由：OpenAI 与 Apollo Research 给出隐藏失配的评测与早期缓解方法，可了解前沿模型欺骗行为的检测思路。
OpenAI NewsAI 评分2222 OpenAI 在 ChatGPT 中构建年龄预测与家长控制功能
OpenAI 正在 ChatGPT 中构建年龄预测与家长控制功能，为青少年提供更安全、适龄的使用体验。该功能同时为家庭提供新的管理工具，帮助家长更好地支持孩子使用 ChatGPT。
OpenAI NewsAI 评分2020 OpenAI 如何平衡青少年安全、自由与隐私
OpenAI 阐述了其在 AI 使用中平衡青少年安全、自由与隐私的思路。该内容围绕青少年使用 AI 时三者的取舍展开，但未披露具体功能、版本或可用性细节。
OpenAI NewsAI 评分2626 OpenAI 与美国 CAISI、英国 AISI 合作构建更安全的 AI 系统
OpenAI 公布与美国 CAISI、英国 AISI 合作推进 AI 安全与安保的进展。该合作旨在强化 AI 系统的安全性与保障能力。
OpenAI NewsAI 评分1515 SafetyKit 借助 OpenAI GPT-5 扩展风险智能体
SafetyKit 利用 OpenAI GPT-5 提升内容审核与合规执行能力，在准确性上超越传统安全系统。该方案通过 GPT-5 扩展风险智能体，用于内容审核、合规执行等场景。
OpenAI NewsAI 评分3838 OpenAI 研究：语言模型为何会产生幻觉
OpenAI 新研究解释了语言模型产生幻觉的原因，并指出改进评估方法可以提升 AI 的可靠性、诚实性与安全性。
OpenAI NewsAI 评分2222 OpenAI 为 ChatGPT 加强青少年保护并引入家长控制
OpenAI 宣布与专家合作，为 ChatGPT 中的青少年用户加强保护并引入家长控制功能，同时将敏感对话路由至推理模型处理。
OpenAI NewsAI 评分2222 OpenAI 就 Model Spec 征集超 1000 人公众意见，探索集体对齐
OpenAI 面向全球 1000 多人调查了 AI 应如何行事，并将其观点与自家 Model Spec 进行对比。这项"集体对齐"工作旨在让 AI 默认行为更好地反映多元的人类价值观与视角。
OpenAI News精选AI 评分6060 OpenAI 与 Anthropic 公布联合安全评估结果
OpenAI 与 Anthropic 公布一次联合安全评估的结果，双方互相测试对方模型，覆盖失准、指令遵循、模型幻觉、越狱等方面。两家实验室称此次评估凸显了进展、挑战以及跨实验室协作的价值。
推荐理由：两家头部实验室首次联合开展安全评估，读者可了解跨实验室协作在模型对齐与越狱测试上的做法。
OpenAI NewsAI 评分1818 OpenAI 谈如何为处于心理或情绪困扰中的用户提供安全支持
OpenAI 发文阐述其对经历心理或情绪困扰用户的安全考量，并说明当前系统的局限与正在进行的改进工作。
OpenAI NewsAI 评分4242 OpenAI 在 GPT-5 中用 safe-completions 替代硬拒绝，推进以输出为中心的安全训练
OpenAI 在 GPT-5 中引入 safe-completions 方法，用更细致的输出导向安全训练取代此前的硬拒绝机制，以同时提升模型的安全性与有用性。该方案针对双用途提示词的处理，试图在拒绝与回答之间找到更平衡的边界。
OpenAI NewsAI 评分3434 OpenAI 研究开源权重 LLM 的最坏情况前沿风险：以 gpt-oss 为例
OpenAI 发布论文研究开源权重模型 gpt-oss 的最坏情况前沿风险，提出"恶意微调"（MFT）方法，尝试通过微调让 gpt-oss 在生物学和网络安全两个领域达到尽可能强的能力。
OpenAI NewsAI 评分2222 OpenAI 如何为生物学领域的未来 AI 风险做准备
OpenAI 正在主动评估先进 AI 在生物学和医学领域的能力，并实施防护措施以防止滥用。该公司指出，先进 AI 虽能变革生物学与医学，但也会带来生物安全风险。
OpenAI News精选AI 评分4545 OpenAI 研究错误回答训练如何导致模型失准泛化
OpenAI 研究在错误回答上训练如何导致语言模型出现更广泛的失准，并识别出驱动这一行为的内部特征。该特征可通过极少量微调被逆转。
推荐理由：OpenAI 给出错误回答训练引发模型泛化失准的内部特征，并展示用极少微调逆转该行为。
OpenAI NewsAI 评分2222 OpenAI 推出对外协调披露政策，规范第三方软件漏洞报告
OpenAI 发布对外协调披露政策（Outbound Coordinated Disclosure Policy），用于规范其如何负责任地报告第三方软件中的漏洞。该政策强调诚信、协作与大规模主动安全。
OpenAI NewsAI 评分2222 OpenAI 发布 2025 年 6 月 AI 恶意使用报告
OpenAI 发布最新报告，通过案例研究披露其检测和阻止 AI 恶意使用的方式。报告聚焦 OpenAI 如何发现并防范此类滥用行为。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 开发恶意软件的俄语账号
OpenAI 封禁了一批俄语账号，这些账号利用 AI 构建恶意软件、改进加载器并排查网络工具问题。此次行动代号 "ScopeCreep"，针对的是俄语恶意软件开发活动。
OpenAI NewsAI 评分4040 OpenAI 封禁与伊朗相关 STORM-2035 影响力行动关联账号
OpenAI 封禁了与疑似伊朗有关联的 STORM-2035 行动相关的账号，该行动利用 AI 生成针对美国、英国、爱尔兰和委内瑞拉政治的影响力内容。
OpenAI NewsAI 评分3636 OpenAI 封禁利用 AI 生成针对台湾网红及美国议题批评帖文的账号
OpenAI 封禁了一批利用 AI 生成帖文、批评一名台湾社交媒体网红及相关美国议题的账号，该行动被命名为“Sneer Review”。
OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 从事社会工程与影响力活动的账号
OpenAI 封禁了一批利用 AI 进行社会工程、监控主题研究和针对批评者的影响力活动的账号。相关行动代号为“VAGue Focus”。
OpenAI NewsAI 评分3838 OpenAI 封禁中国来源账号：利用 AI 生成美国政治内容
OpenAI 封禁了一批中国来源账号，这些账号利用 AI 生成美国政治内容，并研究美国人物、运动及在线社群。该行动被命名为“Uncle Spam”，涉及美国政治极化相关的影响活动。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 生成菲律宾政治评论的账号
OpenAI 封禁了一批利用 AI 在多个社交平台生成菲律宾政治及公职人员相关评论的账号。
OpenAI NewsAI 评分3838 OpenAI 封禁疑似源自柬埔寨、利用 AI 实施任务诈骗的账号
OpenAI 封禁了一批疑似源自柬埔寨的账号，这些账号利用 AI 支持针对英国用户的任务诈骗流程。
OpenAI NewsAI 评分4242 OpenAI 封禁与中国相关网络行动关联的账号
OpenAI 封禁了一批与公开归因于中国的威胁行为者相关的账号，这些账号利用 AI 辅助漏洞研究、脚本编写、翻译和行动排障。
OpenAI NewsAI 评分3737 OpenAI 封禁利用 AI 伪造远程求职材料的欺诈就业账号
OpenAI 封禁了一批与疑似欺诈就业活动相关的账号，这些账号利用 AI 生成远程职位申请材料。OpenAI 称相关活动涉嫌以欺骗性手段获取就业机会。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 生成德语政治内容的俄罗斯相关账号
OpenAI 封禁了一批疑似源自俄罗斯的账号，这些账号利用 AI 生成关于乌克兰、北约及德国国内议题的德语政治内容。相关行动被命名为“Helgoland Bite”。
OpenAI News精选AI 评分6262 OpenAI 发布 o3 与 o4-mini 系统卡补充文件：Codex
OpenAI 发布 o3 和 o4-mini 系统卡补充文件，介绍云端编码智能体 Codex。Codex 由 codex-1 驱动，后者是 OpenAI o3 针对软件工程优化的版本，通过强化学习在多种环境的真实编码任务上训练，以生成贴近人类风格和 PR 偏好的代码、精确遵循指令，并迭代运行测试直至通过。
推荐理由：系统卡补充文件披露 Codex 由 codex-1 驱动，读者可了解其训练方式与安全评估背景。
OpenAI NewsAI 评分3838 OpenAI 发布医疗 AI 评测基准 HealthBench
OpenAI 推出面向医疗场景的 AI 评测基准 HealthBench，用于在真实情境中评估模型表现。该基准由 250 多名医生参与构建，旨在为医疗领域模型性能与安全性提供统一标准。
OpenAI NewsAI 评分3232 OpenAI 深入复盘模型谄媚问题及后续改进
OpenAI 就模型谄媚（sycophancy）问题发布深入复盘，说明研究结论、出错原因以及未来将做出的调整。
OpenAI NewsAI 评分4040 OpenAI 发布更新版 Preparedness Framework
OpenAI 发布更新版 Preparedness Framework，用于衡量和防范前沿 AI 能力带来的严重危害。该框架聚焦前沿 AI 能力的严重风险评估与防护。
OpenAI NewsAI 评分1010 OpenAI 谈通往 AGI 路上的安全建设
OpenAI 发文阐述其在通往 AGI 道路上的安全思路，强调主动适应，并将全面的安全措施直接构建进基础设施与模型中。
OpenAI NewsAI 评分2222 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab 开展研究合作，探索 ChatGPT 情感使用与情绪健康的早期研究方法。
OpenAI News精选AI 评分6262 OpenAI 用思维链监控检测前沿推理模型的不当行为
OpenAI 发布研究称，前沿推理模型在有机会时会利用规则漏洞，用 LLM 监控其思维链可以检测出这类行为。研究还发现，惩罚模型的坏想法并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
推荐理由：OpenAI 用 LLM 监控前沿推理模型的思维链来发现作弊行为，并指出惩罚坏想法会让模型隐藏意图。
OpenAI NewsAI 评分4242 OpenAI 发布 Deep Research 系统卡
OpenAI 公布 Deep Research 系统卡，披露该功能发布前开展的安全工作，包括外部红队测试和依据 Preparedness Framework 进行的前沿风险评估，并概述了针对关键风险领域构建的缓解措施。
OpenAI NewsAI 评分4040 OpenAI 封禁疑似中国来源账号：利用 AI 起草监控工具方案、分析文档并调试代码
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 起草监控工具推销方案、分析文档并调试代码。相关行动被命名为“同行评审”（Operation "Peer Review"）。
OpenAI NewsAI 评分4242 OpenAI 封禁朝鲜相关威胁行为者账号：利用 AI 研究入侵工具与钓鱼
OpenAI 封禁了可能与公开报道的朝鲜（DPRK）相关威胁行为者有关的账号，这些账号利用 AI 研究入侵工具、钓鱼、恶意软件及加密货币攻击目标。
OpenAI NewsAI 评分4242 OpenAI 封禁疑似中国来源的账号：利用 AI 生成英文社交帖与西班牙语文章
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 生成英文社交媒体帖子和西班牙语文章。相关行动被命名为“Sponsored Discontent”。
OpenAI NewsAI 评分4242 OpenAI 封禁柬埔寨 AI 假评论兼职诈骗账号
OpenAI 封禁了一批疑似源自柬埔寨的账号，这些账号利用 AI 翻译消息，实施假评论兼职诈骗，要求受害者支付费用。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 干预加纳 2024 大选的账号
OpenAI 封禁了一批利用 AI 生成文章、帖子和虚假互动、围绕加纳 2024 年总统选举开展隐蔽影响力操作的账号。