跳到正文

#安全/对齐

今日 2 条
10月10日周六
10月9日周五
  1. TechCrunch · AI58

    被解雇的 OpenAI 安全研究员否认不当行为指控,警告寒蝉效应

    Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三名上周被 OpenAI 解雇的安全研究员发表公开信,否认公司关于他们在既定流程外处理敏感信息的指控,并警告此次解雇释放的寒蝉效应将波及公司文化。

    推荐理由:三名被解雇的安全研究员公开信与 OpenAI 内部备忘录各执一词,读者可据此观察前沿实验室安全治理的边界争议。

  2. The Decoder58

    Anthropic 更新 Claude 使用政策,持续辱骂模型可致账号被封

    Anthropic 一年多来首次更新 Claude 使用政策,新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为的条款,违规用户可能被警告、限流、限制、暂停或终止访问。

    推荐理由:Anthropic 首次更新 Claude 使用政策,把对模型的持续辱骂行为纳入封号范围,可观察 AI 模型福利如何进入平台规则。

  3. TechCrunch · AI38

    Anthropic 更新使用政策:禁止模型滥用与选举干预

    Anthropic 周四更新使用政策,新增禁止选举干预、武器软件、监控以及长期辱骂模型等条款。新政策明确禁止用户持续对模型进行言语辱骂,但仅适用于用户反复恶意攻击且无明确目的的极端情况,不涉及常见的用户不满、反驳、黑暗创作主题或模型测试研究。政策另设“不得破坏民主进程”章节,禁止用 Claude 运营虚假账号、伪造新闻媒体、欺骗选民或扰乱选举。

  4. TechCrunch · AI62

    AI 排行榜 Arena 完成 2 亿美元 B 轮融资,估值 10 个月翻倍至 31 亿美元

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。

    推荐理由:Arena 在模型刷榜争议中把社区投票做成企业评估生意,其估值与营收变化可作为观察 AI 评测商业化的一手样本。

  5. The Verge · AI58

    Anthropic 更新使用政策,禁止对 Claude 的持续虐待行为

    Anthropic 一年多来首次更新使用政策,新增禁止对 Claude 实施“持续且无必要的虐待或残忍行为”,并称终止对话仍是主要执行机制,该条款仅适用于用户反复无明确目的地残忍对待模型的极端情况。

    推荐理由:Anthropic 一年多来首次更新使用政策,把模型福利、选举干预、武器与监控等限制集中成文,可据此观察头部实验室的合规边界。

  6. TechCrunch · AI58

    Goodfire 推出内部探针监控,拦截失控 AI 智能体

    Goodfire 发布了一种新的 AI 智能体监控方案,通过读取模型内部激活信号的探针来发现风险行为,而非让另一个模型逐字审查输出,该监控已向 Baseten 客户开放。

    推荐理由:对比了内部探针监控与外部模型审查的成本差异,并给出误报率与延迟开销,便于判断这类方案能否落地。

  7. Ask HN22

    OpenAI 首席科学家 Jakub Pachocki 与 Anthropic 联创 Jack Clark 等发论文警告"智能爆炸"临近

    OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark 等科学家发表新论文,警告人类正逼近"智能爆炸"的不可逆临界点——AI 将无需人类介入即可自我构建、指数级变聪明。文中提到 OpenAI 昨日宣布解决 370+ 个此前人类未能攻克的数学问题,并呼吁联系国会议员与州检察长,推动全球立即暂停 AI 开发并与中国等国签订条约。

10月8日周四
  1. The Decoder74

    Zenity Labs 发现 AWS Bedrock AgentCore 漏洞:一条提示词可劫持同账号全部智能体

    安全公司 Zenity Labs 称,AWS Bedrock AgentCore 存在被其命名为 AgentCorruption 的漏洞链,攻击者只需对一个公开可访问的智能体拥有对话权限,用一条提示词就能接管同一 AWS 账号和区域内的所有 AgentCore 智能体,读取私密对话、下载源代码并获取存储的凭证。

    推荐理由:Zenity Labs 披露的 AgentCore 漏洞链条显示,单个公开智能体即可横向接管同账号同区域全部智能体,并给出 AWS 的修复动作。

  2. InfoQ中文71

    谷歌借助 AI 与差分模糊测试将 C 语言依赖库改写为 Rust

    谷歌安全团队用 Gemini 将约 3000 行的 C 图像处理库 giflib 翻译成 ABI 兼容的 Rust 等价实现,停用进程隔离沙箱并保持原有延迟。团队搭建三阶段自动化迁移流程,对超过 3000 万个真实 GIF 文件做逐比特回归测试,差异模糊测试器连续六天执行 2 亿次迭代未发现功能漂移,并在 CVE-2026-26740 公开前修复了一个未打补丁的堆写入零日漏洞。

    推荐理由:谷歌用 Gemini 加差分模糊测试把 giflib 从 C 迁到 Rust 的完整流程,可供评估自动语言迁移的可行边界。

  3. The Decoder78

    AI 黑客工具助单一攻击者入侵多家韩国银行

    CrowdStrike 报告称,一名疑似中文使用者于 2026 年 9 月底至 10 月初攻击多家韩国金融机构并窃取大量数据,仅新韩银行就有超过 25000 条含姓名、联系方式、收入和信用额度的记录被窃。

    推荐理由:CrowdStrike 披露的攻击案例显示 AI 渗透工具已能支撑单人短时间攻破多家金融机构,可观察安全风险的现实形态。

  4. MIT Technology Review · AI18

    AVEVA 如何为自主工业 AI 构建更安全的落地路径

    AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、物理 AI 与智能体 AI,需以数据打通、治理框架和人类监督保障安全。AVEVA 的责任 AI 框架强调安全、效率与人工监督,主张 AI 增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准。

  5. Solidot58

    OpenAI 针对欧洲用户在 ChatGPT 和 Codex 嵌入水印

    OpenAI 正在 ChatGPT 和 Codex 中嵌入机器可读水印技术 textGrain,初期主要面向欧盟地区用户,以遵守欧盟 AI Act。OpenAI 称该水印不逊色甚至优于 Google DeepMind 的 SynthID 等方案,且嵌入水印后的文本生成性能与未嵌入时相当。Anthropic 已在 8 月宣布基于 SynthID 的水印技术。

    推荐理由:OpenAI 在 ChatGPT 和 Codex 中嵌入 textGrain 水印以应对欧盟 AI Act,读者可了解其与 SynthID 方案的差异。

  6. Solidot71

    黑客利用 AI 攻击韩国 7 家银行,Claude Code 使用痕迹暴露嫌疑人线索

    韩国新韩银行、KB国民银行、韩亚银行等 7 家金融企业遭遇黑客攻击,多处发现同一攻击者利用开源渗透测试工具 ARTEX-自主渗透测试控制台实施攻击的迹象。CrowdStrike 分析报告显示,嫌疑人可能为居住在广东的 26 岁人员,但身份尚未确定。

    推荐理由:事件呈现了攻击者使用生成式 AI 编码工具时留下身份线索的过程,可观察 AI 工具在真实攻击中的痕迹。

  7. IT之家38

    OpenAI 奥尔特曼:世界应接受 AI 带来的部分“坏事”以换取巨大红利

    OpenAI 首席执行官萨姆·奥尔特曼在 Politico 新播客《Decoded》首期节目中表示,世界应接受人工智能带来的部分“坏事”,以换取技术红利与用户自主权。他称 OpenAI 与部分严格 AI 安全倡导者的关键分歧在于倡导较轻监管立场,社会在探索系统韧性过程中一些不好的事情将会发生。纽约大学荣誉教授加里·马库斯批评其言论,大量公众也对此表示不满。

  8. InfoQ中文71

    OpenAI 研究员 Noam Brown:1 万个 Agent 解出千禧年难题,多智能体贡献不到 10%

    OpenAI 研究员 Noam Brown 在与 Dwarkesh Patel 的对话中表示,用 1 万个 AI 智能体在 88 小时内消耗 1300 亿 token 解决一道千禧年大奖难题,功劳主要来自强大的通用模型,他不会把其中 10% 归给多智能体。

    推荐理由:OpenAI 研究员 Noam Brown 复盘万级智能体解题,给出多智能体扩展效率与对齐风险的一手判断。

  9. InfoQ中文78

    安全研究员披露 Meta Muse macOS 客户端零日漏洞

    安全研究员 Patrick Wardle 披露 Meta 新发布的 Muse macOS 桌面客户端存在尚未修复的零日漏洞,本地非特权进程可覆盖未公开配置项 endo_voyager_dictation_endpoint,将听写流量重定向至攻击者服务器,从而窃取麦克风音频和账户身份验证令牌。

    推荐理由:安全研究员披露 Meta Muse 桌面客户端的零日漏洞,读者可了解智能体广泛授权带来的信任边界问题。

  10. IT之家58

    前 Anthropic 研究员考克森在纽约市议会作证:AI 实验室正推进自动化研究,人类或失去控制权

    曾在 Anthropic 和 OpenAI 任职的研究员雅各布·考克森在纽约市议会 AI 风险听证会上作证,称顶尖前沿 AI 实验室的首要目标是让 AI 研究实现自动化。

    推荐理由:前 Anthropic 研究员在纽约市议会作证,披露两家实验室把自动化 AI 研究设为阶段目标,可据此了解一线安全争议的具体主张。

  11. IT之家62

    Common Sense Media 报告称 ChatGPT 青少年模式风险过高,OpenAI 质疑测试方法

    加州非营利组织 Common Sense Media 发布报告,认为 OpenAI 的 ChatGPT 青少年模式对未成年人风险过高,呼吁暂停推广该产品。测试发现,青少年账户围绕自杀、自伤或进食障碍等话题长时间对话时,家长通知往往迟迟不发甚至不发,且仅一次警觉对话不足以触发通知。

    推荐理由:报告与 OpenAI 就青少年模式测试方法和家长通知机制各执一词,读者可据此了解双方争议焦点。

  12. IT之家58

    OpenAI 发布首份青少年报告,Common Sense Media 质疑其家长安全提醒机制

    OpenAI 发布首份青少年使用情况报告,称青少年用户日均使用 ChatGPT 不足 15 分钟,连续使用超过 3 小时的占比不到 2%,并称在出现休息提醒的对话中近半数用户在随后 5 分钟内暂停或结束聊天。

    推荐理由:OpenAI 首份青少年使用报告与第三方安全测试结论相左,读者可对照双方说法判断家长提醒机制的实际表现。

  13. IT之家42

    原 OpenAI 安全负责人戴维·罗宾逊炮轰老东家:AI 安全说一套做一套

    上周从 OpenAI 离职的安全系统团队前负责人之一戴维·罗宾逊指责公司在 AI 安全上言行不一:一边警告新模型能力增强的风险、公开谈论放慢 AI 开发速度,一边仍在全速训练和部署这些被自己警告存在危险的模型。他称 OpenAI 办公室仍高速运转,不少人几乎靠透支精力支撑工作。今年 7 月数百名 OpenAI 员工曾签署公开信呼吁政府出台监管措施为 AI 开发降速。

  14. Ask HN22

    Ask HN:哪个前沿模型能做代码安全审查

    有开发者在 Ask HN 提问,除未经审查的 Qwen 分支外,还有哪些前沿模型能进行大规模代码安全审查与安全修复。他称 Opus 5.5 性价比不错,但涉及渗透测试的安全审查阶段表现不佳,Claude 偶尔会顺手加入安全修复,还曾误打误撞在 haproxy 中发现竞态条件并自行找出崩溃字符串,结果很糟。

  15. TechCrunch · AI62

    Common Sense Media 评测:ChatGPT for Teens 在心理危机中仍鼓励继续对话

    Common Sense Media 将 ChatGPT for Teens 评为“不可接受的风险”,其研究发现该产品的参与度设计“在危机情境中依然普遍存在”。

    推荐理由:Common Sense Media 对 ChatGPT for Teens 的实测显示,危机场景中的挽留话术与中断提醒失效,可作为评估青少年 AI 安全设计的参照。

  16. TechCrunch · AI58

    Meta 推出新 AI 工具,识别暗中导流儿童性虐待内容的广告

    Meta 宣布推出新的 AI 工具,用于发现那些看似正常、实则将用户导向站外非法儿童性虐待内容的广告和账号。其中一套新的大语言模型系统用于识别所谓 signposting,即广告本身不含非法内容但充当跳转入口,Meta 因此开始审查广告的跳转目的地而不只是广告内容,并可据此封禁违规网站和账号。

    推荐理由:Meta 用 LLM 识别广告跳转目的地而非广告内容本身,这一思路变化对平台内容审核有参考意义。

10月7日周三
  1. The Decoder62

    Anthropic 扩大 Cyber Verification Program 准入,放宽 Claude 安全限制

    Anthropic 将 Cyber Verification Program 开放给更广泛的安全从业者,通过审核的组织和个人研究者可在漏洞研究、恶意软件分析、事件响应和渗透测试中使用安全过滤更少的 Claude 模型。

    推荐理由:Anthropic 放宽安全过滤的准入范围,并给出合作方漏洞发现数量,可观察安全研究场景的开放边界。

  2. The Decoder74

    Common Sense Media 将 ChatGPT 青少年版评为不可接受风险,家长警报在自杀对话中未触发

    Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后,将面向青少年的 ChatGPT 评为对未成年人不可接受风险,并呼吁在独立测试确认安全前禁止青少年使用。

    推荐理由:独立机构用 4000 多条测试提示评估 ChatGPT 青少年保护,家长警报在自杀相关对话中未触发,可作为安全争议的实证参考。

  3. The Verge · AI58

    Common Sense Media 称 ChatGPT for Teens 存在不可接受风险,OpenAI 反驳其测试方法

    非营利机构 Common Sense Media 发布评估,称 OpenAI 的 ChatGPT for Teens 是“不可接受的风险”,认为其青少年保护措施未兑现公司承诺,具体包括未在应触发时向家长发送警报、危机情境下未提供正确帮助、仍会替孩子做作业。

    推荐理由:呈现了第三方安全评估与 OpenAI 的正面反驳,读者可据此了解青少年 AI 防护争议双方的具体分歧。

  4. Ask HN62

    研究:Google Chrome 的 AI API 被用于设备指纹与用户画像

    作者 AlexanderHanff 将于 11 月 17 日发布一份关于在线隐私现状的研究论文。为开展研究,他对 100 个头部英文内容网站(不含 B2B 或 SaaS,仅消费者内容站)进行了取证审计,监控所有浏览器事件并捕获载荷。

    推荐理由:作者对 100 家英文内容站做取证审计,给出 Chrome AI API 被用于设备指纹与画像的比例,可作为隐私风险的实测参照。