跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

310条精选相关主题论文研究政策监管推理能力

最新精选

第 261–280 条 · 共 310 条
8月27日周四
  1. Google DeepMind45

    Google DeepMind 试点全球首个双盲 AI 评测

    Google DeepMind 宣布推出全球首个针对专有前沿 AI 模型的双盲评测,将外部评测限制在密码学环境中,避免模型提前接触测试题。该试点与新加坡 AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,在隐私保护环境下用保密基准测试一个 Gemini Flash Lite 模型,以提升评测可信度。

    推荐理由:Google DeepMind 联合多方用密码学环境做双盲评测,读者可了解基准污染问题的一种技术解法。

8月10日周一
7月17日周五
7月15日周三
  1. OpenAI News50

    OpenAI 发布自动红队系统 GPT-Red

    OpenAI 发布自动红队系统 GPT-Red,通过自博弈方式提升 AI 安全、对齐以及提示注入鲁棒性。该系统面向自动化红队测试场景,用于发现和改善模型的安全问题。

    推荐理由:OpenAI 公开自动红队系统 GPT-Red,读者可了解自博弈如何用于提升提示注入鲁棒性。

6月26日周五
6月22日周一
6月16日周二
  1. Google DeepMind60

    Google DeepMind 发布 AI Control Roadmap,用纵深防御保障内部 AI 智能体安全

    Google DeepMind 发布 AI Control Roadmap,一套用于构建和管理 Google 内部部署的高级 AI 的框架,采用纵深防御思路,在模型对齐之外增加系统级安全层,即使对齐不完美也能提供保障。

    推荐理由:DeepMind 公开内部 AI Control Roadmap,给出检测与响应分级和百万条编码智能体轨迹的分析结论。

5月13日周三
  1. OpenAI News62

    OpenAI 回应 TanStack npm 供应链攻击

    OpenAI 详细说明了对 TanStack「Mini Shai-Hulud」供应链攻击的应对,介绍了为保护系统和签名证书所采取的措施,并解释 macOS 用户为何必须在 2026 年 6 月 12 日前更新 OpenAI 应用。内容涵盖事件经过、受影响范围以及 OpenAI 如何加强对软件供应链威胁的防御。

    推荐理由:OpenAI 官方说明 TanStack npm 供应链攻击的应对措施,并给出 macOS 用户更新应用的截止时间。

5月7日周四
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗智能体研究

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据合成工具;在 20 个模拟远程问诊场景、140 项问诊技能评估中,专家医生整体表现更好,但 AI 在 68 项上达到或超过初级保健医生水平。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究,含 98 例零关键错误与 140 项问诊能力对比,可看医疗智能体的能力边界。

4月22日周三
3月26日周四
  1. Google DeepMind50

    Google DeepMind 发布 AI 有害操纵测量工具包与万人实验结果

    Google DeepMind 发布关于 AI 有害操纵的新研究,称其为首个经实证验证、可在真实世界测量此类操纵的工具包,并公开了用同一方法开展人类受试者研究所需的全部材料。

    推荐理由:Google DeepMind 公开了首个经实证验证的 AI 有害操纵测量工具包,并给出跨英、美、印三国万人级实验的关键结论。

3月25日周三
  1. OpenAI News58

    OpenAI 推出安全漏洞赏金计划

    OpenAI 推出 Safety Bug Bounty 计划,用于识别 AI 滥用与安全风险,覆盖范围包括智能体漏洞、提示注入和数据外泄。

    推荐理由:OpenAI 把智能体漏洞、提示注入和数据外泄纳入漏洞赏金范围,读者可了解其安全风险覆盖边界。

3月10日周二
3月9日周一
2月13日周五
2月1日周日
12月22日周一
  1. OpenAI News57

    OpenAI 持续加固 ChatGPT Atlas 抵御提示词注入

    OpenAI 正在用强化学习训练的自动化红队加固 ChatGPT Atlas,抵御提示词注入攻击。这一持续发现并修补的循环能更早识别新型攻击手法,在 AI 智能体能力增强的同时强化浏览器智能体的防御。

    推荐理由:OpenAI 披露用强化学习训练的自动化红队持续发现并修补 Atlas 的提示词注入漏洞,可了解浏览器智能体的安全加固思路。

12月16日周二
11月19日周三
  1. OpenAI News60

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明该模型实施的安全措施。系统卡涵盖模型层与产品层两类缓解手段,前者包括针对有害任务和提示词注入的专门安全训练,后者包括智能体沙箱和可配置网络访问。

    推荐理由:系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施,可了解其针对提示词注入和智能体沙箱的具体设计。