跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

479条精选相关主题论文研究政策监管推理能力

最新精选

第 421–440 条 · 共 479 条
8月10日周一
8月3日周一
  1. Import AI70

    AI病毒、AI进步节奏与AI与创造力关系探讨

    文章探讨了AI病毒、AI进步的节奏以及AI与创造力之间的关系,指出AI病毒可能成为未来互联网复杂生态的一部分,需要人类创造自己的AI代理来对抗敌对模型。同时,文章还讨论了AI在数学和计算机科学领域的应用,以及AI在创造力方面的局限性。

    推荐理由:文章探讨了AI病毒、AI进步的节奏以及AI与创造力之间的关系,对理解AI安全和发展趋势有重要价值。

7月20日周一
  1. Import AI65

    Import AI 465: 开源与闭源模型差距;Kimi K3;Demis 的重大政策计划

    文章分析了开源和闭源模型在网络安全能力上的差距,指出开源模型在特定任务上与闭源模型相当,但可能在泛化能力上有所欠缺。同时,文章还介绍了中国公司 Kimi K3 的进展,以及 DeepMind 创始人 Demis Hassabis 提出的关于通用人工智能监管的政策建议。

    推荐理由:文章分析了开源和闭源模型在网络安全能力上的差距,并探讨了人工智能政策与安全方面的趋势。

7月17日周五
7月15日周三
  1. OpenAI News50

    OpenAI 发布自动红队系统 GPT-Red

    OpenAI 发布自动红队系统 GPT-Red,通过自博弈方式提升 AI 安全、对齐以及提示注入鲁棒性。该系统面向自动化红队测试场景,用于发现和改善模型的安全问题。

    推荐理由:OpenAI 公开自动红队系统 GPT-Red,读者可了解自博弈如何用于提升提示注入鲁棒性。

6月26日周五
6月22日周一
6月16日周二
  1. Google DeepMind60

    Google DeepMind 发布 AI Control Roadmap,用纵深防御保障内部 AI 智能体安全

    Google DeepMind 发布 AI Control Roadmap,一套用于构建和管理 Google 内部部署的高级 AI 的框架,采用纵深防御思路,在模型对齐之外增加系统级安全层,即使对齐不完美也能提供保障。

    推荐理由:DeepMind 公开内部 AI Control Roadmap,给出检测与响应分级和百万条编码智能体轨迹的分析结论。

6月11日周四
5月28日周四
5月13日周三
  1. OpenAI News62

    OpenAI 回应 TanStack npm 供应链攻击

    OpenAI 详细说明了对 TanStack「Mini Shai-Hulud」供应链攻击的应对,介绍了为保护系统和签名证书所采取的措施,并解释 macOS 用户为何必须在 2026 年 6 月 12 日前更新 OpenAI 应用。内容涵盖事件经过、受影响范围以及 OpenAI 如何加强对软件供应链威胁的防御。

    推荐理由:OpenAI 官方说明 TanStack npm 供应链攻击的应对措施,并给出 macOS 用户更新应用的截止时间。

5月7日周四
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗智能体研究

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据合成工具;在 20 个模拟远程问诊场景、140 项问诊技能评估中,专家医生整体表现更好,但 AI 在 68 项上达到或超过初级保健医生水平。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究,含 98 例零关键错误与 140 项问诊能力对比,可看医疗智能体的能力边界。

4月22日周三
3月31日周二
  1. Google Research70

    谷歌研究:负责任地披露量子漏洞以保护加密货币

    谷歌研究团队探讨了未来量子计算机破解加密货币保护机制的潜在能力,并提出了应对措施,包括过渡到抗量子密码学。

    推荐理由:原文提出了量子计算机对加密货币安全的潜在威胁,并提供了应对策略,读者可以了解量子计算对加密货币行业的影响和应对措施。

3月26日周四
  1. Google DeepMind50

    Google DeepMind 发布 AI 有害操纵测量工具包与万人实验结果

    Google DeepMind 发布关于 AI 有害操纵的新研究,称其为首个经实证验证、可在真实世界测量此类操纵的工具包,并公开了用同一方法开展人类受试者研究所需的全部材料。

    推荐理由:Google DeepMind 公开了首个经实证验证的 AI 有害操纵测量工具包,并给出跨英、美、印三国万人级实验的关键结论。

3月25日周三
  1. OpenAI News58

    OpenAI 推出安全漏洞赏金计划

    OpenAI 推出 Safety Bug Bounty 计划,用于识别 AI 滥用与安全风险,覆盖范围包括智能体漏洞、提示注入和数据外泄。

    推荐理由:OpenAI 把智能体漏洞、提示注入和数据外泄纳入漏洞赏金范围,读者可了解其安全风险覆盖边界。

3月10日周二
3月9日周一
2月13日周五