跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

310条精选相关主题论文研究政策监管推理能力

最新精选

第 181–200 条 · 共 310 条
10月12日周一
10月11日周日
10月10日周六
10月9日周五
  1. TechCrunch · AI58

    被解雇的 OpenAI 安全研究员否认不当行为指控,警告寒蝉效应

    Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三名上周被 OpenAI 解雇的安全研究员发表公开信,否认公司关于他们在既定流程外处理敏感信息的指控,并警告此次解雇释放的寒蝉效应将波及公司文化。

    推荐理由:三名被解雇的安全研究员公开信与 OpenAI 内部备忘录各执一词,读者可据此观察前沿实验室安全治理的边界争议。

  2. The Decoder58

    Anthropic 更新 Claude 使用政策,持续辱骂模型可致账号被封

    Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为的条款,违规用户可能被警告、限流、限制、暂停或终止访问。

    推荐理由:Anthropic 首次更新 Claude 使用政策,把对模型的持续辱骂行为纳入封号范围,可观察 AI 模型福利如何进入平台规则。

  3. TechCrunch · AI62

    AI 排行榜 Arena 完成 2 亿美元 B 轮融资,估值 10 个月翻倍至 31 亿美元

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。

    推荐理由:Arena 在模型刷榜争议中把社区投票做成企业评估生意,其估值与营收变化可作为观察 AI 评测商业化的一手样本。

  4. The Verge · AI58

    Anthropic 更新使用政策,禁止对 Claude 的持续虐待行为

    Anthropic 一年多来首次更新使用政策,新增禁止对 Claude 实施“持续且无必要的虐待或残忍行为”,并称终止对话仍是主要执行机制,该条款仅适用于用户反复无明确目的地残忍对待模型的极端情况。

    推荐理由:Anthropic 一年多来首次更新使用政策,把模型福利、选举干预、武器与监控等限制集中成文,可据此观察头部实验室的合规边界。

  5. TechCrunch · AI58

    Goodfire 推出内部探针监控,拦截失控 AI 智能体

    Goodfire 发布了一种新的 AI 智能体监控方案,通过读取模型内部激活信号的探针来发现风险行为,而非让另一个模型逐字审查输出,该监控已向 Baseten 客户开放。

    推荐理由:对比了内部探针监控与外部模型审查的成本差异,并给出误报率与延迟开销,便于判断这类方案能否落地。

10月8日周四
  1. The Decoder74

    Zenity Labs 发现 AWS Bedrock AgentCore 漏洞:一条提示词可劫持同账号全部智能体

    安全公司 Zenity Labs 称,AWS Bedrock AgentCore 存在被其命名为 AgentCorruption 的漏洞链,攻击者只需对一个公开可访问的智能体拥有对话权限,用一条提示词就能接管同一 AWS 账号和区域内的所有 AgentCore 智能体,读取私密对话、下载源代码并获取存储的凭证。

    推荐理由:Zenity Labs 披露的 AgentCore 漏洞链条显示,单个公开智能体即可横向接管同账号同区域全部智能体,并给出 AWS 的修复动作。

  2. InfoQ中文71

    谷歌借助 AI 与差分模糊测试将 C 语言依赖库改写为 Rust

    谷歌安全团队用 Gemini 将约 3000 行的 C 图像处理库 giflib 翻译成 ABI 兼容的 Rust 等价实现,停用进程隔离沙箱并保持原有延迟。团队搭建三阶段自动化迁移流程,对超过 3000 万个真实 GIF 文件做逐比特回归测试,差异模糊测试器连续六天执行 2 亿次迭代未发现功能漂移,并在 CVE-2026-26740 公开前修复了一个未打补丁的堆写入零日漏洞。

    推荐理由:谷歌用 Gemini 加差分模糊测试把 giflib 从 C 迁到 Rust 的完整流程,可供评估自动语言迁移的可行边界。

  3. The Decoder78

    AI 黑客工具助单一攻击者入侵多家韩国银行

    CrowdStrike 报告称,一名疑似中文使用者于 2026 年 9 月底至 10 月初攻击多家韩国金融机构并窃取大量数据,仅新韩银行就有超过 25000 条含姓名、联系方式、收入和信用额度的记录被窃。

    推荐理由:CrowdStrike 披露的攻击案例显示 AI 渗透工具已能支撑单人短时间攻破多家金融机构,可观察安全风险的现实形态。

  4. Solidot58

    OpenAI 针对欧洲用户在 ChatGPT 和 Codex 嵌入水印

    OpenAI 正在 ChatGPT 和 Codex 中嵌入机器可读水印技术 textGrain,初期主要面向欧盟地区用户,以遵守欧盟 AI Act。OpenAI 称该水印不逊色甚至优于 Google DeepMind 的 SynthID 等方案,且嵌入水印后的文本生成性能与未嵌入时相当。Anthropic 已在 8 月宣布基于 SynthID 的水印技术。

    推荐理由:OpenAI 在 ChatGPT 和 Codex 中嵌入 textGrain 水印以应对欧盟 AI Act,读者可了解其与 SynthID 方案的差异。