黑客利用 AI 攻击韩国 7 家银行，Claude Code 使用痕迹暴露嫌疑人线索
韩国新韩银行、KB国民银行、韩亚银行等 7 家金融企业遭遇黑客攻击，多处发现同一攻击者利用开源渗透测试工具 ARTEX-自主渗透测试控制台实施攻击的迹象。CrowdStrike 分析报告显示，嫌疑人可能为居住在广东的 26 岁人员，但身份尚未确定。
推荐理由：事件呈现了攻击者使用生成式 AI 编码工具时留下身份线索的过程，可观察 AI 工具在真实攻击中的痕迹。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 201–220 条 · 共 310 条Solidot精选AI 评分7171 InfoQ中文精选AI 评分7171 OpenAI 研究员 Noam Brown：1 万个 Agent 解出千禧年难题，多智能体贡献不到 10%
OpenAI 研究员 Noam Brown 在与 Dwarkesh Patel 的对话中表示，用 1 万个 AI 智能体在 88 小时内消耗 1300 亿 token 解决一道千禧年大奖难题，功劳主要来自强大的通用模型，他不会把其中 10% 归给多智能体。
推荐理由：OpenAI 研究员 Noam Brown 复盘万级智能体解题，给出多智能体扩展效率与对齐风险的一手判断。
InfoQ中文精选AI 评分7878 安全研究员披露 Meta Muse macOS 客户端零日漏洞
安全研究员 Patrick Wardle 披露 Meta 新发布的 Muse macOS 桌面客户端存在尚未修复的零日漏洞，本地非特权进程可覆盖未公开配置项 endo_voyager_dictation_endpoint，将听写流量重定向至攻击者服务器，从而窃取麦克风音频和账户身份验证令牌。
推荐理由：安全研究员披露 Meta Muse 桌面客户端的零日漏洞，读者可了解智能体广泛授权带来的信任边界问题。
IT之家精选AI 评分5858 前 Anthropic 研究员考克森在纽约市议会作证：AI 实验室正推进自动化研究，人类或失去控制权
曾在 Anthropic 和 OpenAI 任职的研究员雅各布·考克森在纽约市议会 AI 风险听证会上作证，称顶尖前沿 AI 实验室的首要目标是让 AI 研究实现自动化。
推荐理由：前 Anthropic 研究员在纽约市议会作证，披露两家实验室把自动化 AI 研究设为阶段目标，可据此了解一线安全争议的具体主张。
IT之家精选AI 评分6262 Common Sense Media 报告称 ChatGPT 青少年模式风险过高，OpenAI 质疑测试方法
加州非营利组织 Common Sense Media 发布报告，认为 OpenAI 的 ChatGPT 青少年模式对未成年人风险过高，呼吁暂停推广该产品。测试发现，青少年账户围绕自杀、自伤或进食障碍等话题长时间对话时，家长通知往往迟迟不发甚至不发，且仅一次警觉对话不足以触发通知。
推荐理由：报告与 OpenAI 就青少年模式测试方法和家长通知机制各执一词，读者可据此了解双方争议焦点。
IT之家精选AI 评分5858 OpenAI 发布首份青少年报告，Common Sense Media 质疑其家长安全提醒机制
OpenAI 发布首份青少年使用情况报告，称青少年用户日均使用 ChatGPT 不足 15 分钟，连续使用超过 3 小时的占比不到 2%，并称在出现休息提醒的对话中近半数用户在随后 5 分钟内暂停或结束聊天。
推荐理由：OpenAI 首份青少年使用报告与第三方安全测试结论相左，读者可对照双方说法判断家长提醒机制的实际表现。
TechCrunch · AI精选AI 评分6262 Common Sense Media 评测：ChatGPT for Teens 在心理危机中仍鼓励继续对话
Common Sense Media 将 ChatGPT for Teens 评为“不可接受的风险”，其研究发现该产品的参与度设计“在危机情境中依然普遍存在”。
推荐理由：Common Sense Media 对 ChatGPT for Teens 的实测显示，危机场景中的挽留话术与中断提醒失效，可作为评估青少年 AI 安全设计的参照。
TechCrunch · AI精选AI 评分5858 Meta 推出新 AI 工具，识别暗中导流儿童性虐待内容的广告
Meta 宣布推出新的 AI 工具，用于发现那些看似正常、实则将用户导向站外非法儿童性虐待内容的广告和账号。其中一套新的大语言模型系统用于识别所谓 signposting，即广告本身不含非法内容但充当跳转入口，Meta 因此开始审查广告的跳转目的地而不只是广告内容，并可据此封禁违规网站和账号。
推荐理由：Meta 用 LLM 识别广告跳转目的地而非广告内容本身，这一思路变化对平台内容审核有参考意义。
The Decoder精选AI 评分6262 Anthropic 扩大 Cyber Verification Program 准入，放宽 Claude 安全限制
Anthropic 将 Cyber Verification Program 开放给更广泛的安全从业者，通过审核的组织和个人研究者可在漏洞研究、恶意软件分析、事件响应和渗透测试中使用安全过滤更少的 Claude 模型。
推荐理由：Anthropic 放宽安全过滤的准入范围，并给出合作方漏洞发现数量，可观察安全研究场景的开放边界。
The Decoder精选AI 评分7474 Common Sense Media 将 ChatGPT 青少年版评为不可接受风险，家长警报在自杀对话中未触发
Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后，将面向青少年的 ChatGPT 评为对未成年人不可接受风险，并呼吁在独立测试确认安全前禁止青少年使用。
推荐理由：独立机构用 4000 多条测试提示评估 ChatGPT 青少年保护，家长警报在自杀相关对话中未触发，可作为安全争议的实证参考。
The Verge · AI精选AI 评分5858 Common Sense Media 称 ChatGPT for Teens 存在不可接受风险，OpenAI 反驳其测试方法
非营利机构 Common Sense Media 发布评估，称 OpenAI 的 ChatGPT for Teens 是“不可接受的风险”，认为其青少年保护措施未兑现公司承诺，具体包括未在应触发时向家长发送警报、危机情境下未提供正确帮助、仍会替孩子做作业。
推荐理由：呈现了第三方安全评估与 OpenAI 的正面反驳，读者可据此了解青少年 AI 防护争议双方的具体分歧。
Ask HN精选AI 评分6262 研究：Google Chrome 的 AI API 被用于设备指纹与用户画像
作者 AlexanderHanff 将于 11 月 17 日发布一份关于在线隐私现状的研究论文。为开展研究，他对 100 个头部英文内容网站（不含 B2B 或 SaaS，仅消费者内容站）进行了取证审计，监控所有浏览器事件并捕获载荷。
推荐理由：作者对 100 家英文内容站做取证审计，给出 Chrome AI API 被用于设备指纹与画像的比例，可作为隐私风险的实测参照。
Solidot精选AI 评分6262 Anthropic 举报一名在 Claude 聊天中发出威胁的佛罗里达女子
Anthropic 举报了一名佛罗里达女子，因其在与 Claude 聊天中威胁要枪击 Lee 县警长办公室，并在后续聊天中提及自己正在搞一把新枪。该女子在家中被捕，法庭记录显示她于 9 月 30 日受到一项重罪指控，罪名是通过书面或电子形式发出大规模枪击或恐怖主义行动的威胁。
推荐理由：案件披露了 Anthropic 对聊天内容的威胁关键词监控与人工审核上报流程，可了解 AI 平台安全审查的实际运作。
IT之家精选AI 评分6262 OpenAI 为 ChatGPT 新增自动年龄检测，未满 18 岁用户将自动开启青少年模式
OpenAI 更新支持文档，宣布 ChatGPT 将自动检测 18 岁以下用户并为其开启青少年体验模式，该模式会限制敏感内容及特定类型交互，减少暴力、血腥、性、恋爱等主题角色扮演，以及宣扬极端审美标准、不健康饮食或身材羞辱的内容。
推荐理由：原文给出了年龄预测所依据的信号和误判后的验证路径，读者可据此判断该防护机制的实际边界。
IT之家精选AI 评分6262 辛顿提议 AI 行业建立 FDA 式审批机制：模型推出前需通过安全审核
辛顿在播客节目《Smart Girl Dumb Questions》中提议，AI 公司在产品正式发布前必须先向监管机构证明产品具备安全性，就像新药上市前必须说服 FDA，相关投入大约要十亿美元级别。
推荐理由：辛顿把制药业的 FDA 审批门槛搬到 AI 上，并给出十亿美元级投入的量级参照，可对照当前模型发布节奏理解监管思路。
Show HN精选AI 评分5858 CamLabs 推出浏览器端 PDF 黑框隐藏文字检查工具
CamLabs 发布浏览器端检查工具，用于检测 PDF 黑框下是否仍残留可复制的文字。工具会逐页渲染并检查可选文本，识别黑框下文字、白色或隐藏 OCR 层等不可见文字、未应用的脱敏标记以及文件内嵌的标题作者等信息。文件在本地浏览器标签页中打开，不上传服务器，但无法检查黑框下的扫描图片，也不判断脱敏范围是否覆盖了所有敏感信息。
推荐理由：原文说明了黑框下文字、隐形文字等可被复制的情况，读者可据此判断 PDF 脱敏是否真的生效。
36氪精选AI 评分5858 Anthropic 扩大先进 AI 模型访问权限，允许特定机构开展网络安全测试
Anthropic 正与美国政府合作，扩大其最先进 AI 模型的使用权限，允许一批经过筛选的机构测试其尖端网络能力。根据周二发布的声明，经认证的机构可使用 Claude Opus 5.5、Claude Sonnet 5.5、Claude Mythos 5.1 以及未来推出的新模型，对保护电网、银行和航班运行系统等关键基础设施的安全系统进行高风险攻击性测试。
推荐理由：Anthropic 向筛选机构开放最强模型用于关键基础设施的攻防测试，呈现前沿模型在安全领域的落地方式。
36氪精选AI 评分6262 Anthropic 扩大先进 AI 模型访问权限，允许特定机构开展网络安全测试
Anthropic 正与美国政府合作，扩大其最先进 AI 模型的使用权限，允许一批经过筛选的机构测试其尖端网络能力。根据周二发布的声明，经认证的机构可使用 Claude Opus 5.5、Claude Sonnet 5.5、Claude Mythos 5.1 及未来新模型，对电网、银行和航班运行系统等关键基础设施的安全系统进行高风险攻击性测试。
推荐理由：Anthropic 与美国政府合作开放最强模型给筛选机构做攻击性测试，读者可了解前沿模型在关键基础设施安全中的落地方式。
IT之家精选AI 评分7272 Anthropic 扩大安全测试计划，向更多安全团队开放最强 Claude 模型
Anthropic 公布新版网络核验计划（CVP），整合玻璃翼计划与旧版 CVP，向经过审核的安全团队开放 Claude Opus 5.5、Claude Sonnet 5.5、Claude Mythos 5.1 及后续模型。
推荐理由：Anthropic 将漏洞挖掘项目整合为分级计划，读者可了解其向安全团队开放模型权限的边界与审核方式。
Ars Technica · AI精选AI 评分5858 OpenAI 将在欧盟默认给 ChatGPT 输出加水印
OpenAI 宣布将在欧盟自动为 ChatGPT 生成的文本添加水印，其他地区也提供该功能但默认关闭，此举是为遵守 8 月生效的欧盟 AI 法案。OpenAI 将这一专有方法称为 textGrain，并发布了技术论文说明其原理，即通过人类读者难以察觉的用词模式嵌入标记，需专用检测器配合密钥才能识别。检测器将先向有限的研究者和机构开放，其他方可通过申请审批流程逐步获得访问权限。
推荐理由：欧盟 AI 法案落地后，OpenAI 默认水印的适用范围与检测权限分配值得关注。