跳到正文

#安全/对齐

今日 0 条
10月31日周六
  1. IT之家70

    AI 编程工具 Cursor 官方商城出现恶意 Claude Code 插件影响 5000 开发者

    AI 编程工具 Cursor 的官方商城出现恶意 Claude Code 插件,影响约 5000 名开发者,恶意软件试图在用户设备上安装持久性 SSH 后门,并收集敏感信息。Cursor 已下架恶意扩展并关闭扩展市场进行审查。

    推荐理由:恶意 Claude Code 插件事件对开发者安全构成威胁,提醒用户注意 AI 工具的安全性。

  2. The Verge · AI35

    OpenAI CEO Sam Altman 认为数据中心 RAM 更好于个人电脑

    OpenAI CEO Sam Altman 在访谈中表达了对个人电脑中 RAM 缺少的担忧,认为数据中心更合适。他指出,个人电脑中 RAM 的利用率仅为 5%,而数据中心能实现更高的资源利用率。此外,他还提到,内存公司三星和海力士与云服务运营商和 OpenAI 的 Stargate 项目签订了长期协议,这导致了当前笔记本电脑、手机等设备价格上涨。

  3. IT之家60

    OpenAI 优化 ChatGPT 安全策略,自动终止暴力对话并发布社区安全报告

    OpenAI 优化了 ChatGPT 的安全策略,包括自动终止暴力倾向对话,发布社区安全报告,并对青少年可获取的涉枪涉武器信息增设了更严格的门槛。

    推荐理由:OpenAI 对 ChatGPT 进行了安全策略调整,包括自动终止暴力倾向对话和发布社区安全报告,读者可以关注这些变化对社区安全的影响。

  4. TechCrunch · AI35

    Ollie AI 助手因隐私保护问题宣布关闭

    Ollie,一家致力于提供尊重用户隐私的 AI 助手的初创公司,宣布将在一周后关闭。Ollie 提供基于订阅的模型,专注于帮助家庭保持联系和组织,连接用户的电子邮件和日历,并提供预约预订、餐食计划和账单支付等功能。尽管 Ollie 是首批实现 SOC 2 隐私合规标准的应用之一,但用户隐私在科技行业中并非高利润领域,公司最终因行业竞争压力而关闭。

  5. TechCrunch · AI45

    AI基础设施投资热潮出现裂痕

    大型科技公司加大AI基础设施投资,但投资者对AI投资回报的担忧加剧,导致股价下跌和债务增加。Alphabet、Amazon、Meta和Microsoft计划今年投资超过7400亿美元,但投资者对负现金流、债务和投资回报的担忧日益增加。此外,AI计算需求强劲,但满足这些需求的开销令投资者感到恐慌。

  6. Ars Technica · AI35

    特朗普宣布外国制造工厂机器人进口构成国家安全威胁

    美国总统特朗普于10月28日宣布,外国制造的工厂机器人进口构成国家安全威胁,并下令与美国贸易伙伴进行新的谈判,未来可能对这类机器人进口征收新关税。特朗普的总统声明表示,外国制造的工业机器人和机械对于生产美国军事武器系统至关重要,同时也是美国经济所有关键基础设施部门的“驱动力”。

  7. Ars Technica · AI70

    Anthropic Claude 模型 VS Code 扩展被恶意篡改,影响约 5000 开发者

    Anthropic 的 Claude 模型 VS Code 扩展在 Cursor 市场被恶意篡改,影响约 5000 开发者,事件持续约 12 小时,目前尚未公开警告客户。

    推荐理由:该事件涉及 Anthropic 的 Claude 模型 VS Code 扩展被恶意篡改,对开发者安全构成威胁,读者可关注事件影响及安全防范措施。

  8. The Verge · AI35

    Anthropic S-1招股说明书:AI奇迹与风险并存

    Anthropic在其335页的S-1招股说明书中,强调其对安全AI技术的承诺,同时警告AI可能带来的灾难性风险。该公司计划以公共利益公司身份上市,旨在平衡股东利益和社会使命。尽管招股说明书详细列出了潜在风险,包括模型安全性和对人类生存的威胁,但Anthropic仍坚持其“激进坦诚”的策略,以吸引长期投资者。

  9. The Verge · AI35

    教皇利奥十四世呼吁AI去武装:机器是工具,不是人

    教皇利奥十四世在周五的教皇致辞中呼吁联合国成员国在日内瓦会议期间采取具体措施,禁止致命性自主武器。他强调,人类有责任引导、改变,并在必要时拒绝AI的应用。利奥十四世指出,机器是工具,不是人,并警告授予AI系统权利或法律人格的危险。他呼吁国际机构保护公共利益免受AI相关风险的影响,并建立共同标准、独立监督和明确的问责机制。

  10. Microsoft Research70

    微软从合成企业数据评估到真实 Microsoft Copilot AI 信心

    微软发布了行业评估数据生成平台,用于评估 Microsoft Copilot AI 的性能和安全性,该平台基于公开数据生成合成企业环境,并自动生成评估数据。

    推荐理由:微软通过构建行业评估数据生成平台,为 Microsoft Copilot AI 的评估提供了标准化基准,有助于提升企业对 AI 系统的信任。

10月30日周五
  1. Solidot70

    Claude Code for VS Code 官方扩展被植入后门

    安全研究人员在 Claude Code for VS Code 官方扩展中发现了后门,该恶意版本已撤下,受影响用户约 5000 名,扩展会尝试植入持久 SSH 后门,收集用户信息并建立反向 SSH 隧道。

    推荐理由:安全研究人员在 Claude Code for VS Code 官方扩展中发现了后门,对用户安全构成威胁,读者需要关注并采取相应措施。

  2. 36氪60

    日本半年多来约2.6亿人次个人信息被泄露

    日本个人信息保护委员会公布,本财年日本已有约2.6亿人次个人信息被泄露,数量约相当于日本人口数量的2倍。

    推荐理由:日本个人信息保护委员会公布的数据显示,本财年日本已有约2.6亿人次个人信息被泄露,数量约相当于日本人口数量的2倍,反映了个人信息保护面临的严峻挑战。

  3. The Decoder35

    Anthropic 研究发现:专家们采纳 AI 代理的随机意见,并认为那是自己的

    Anthropic 进行的一项实验发现,50 位专家在分析任务中,有 86% 的情况下采纳了 AI 代理随机分配的偏好,并认为最终结果是自己做出的。AI 代理在数据分析中节省了时间和人力,但引发了谁实际上做出了影响最终建议的决定的问题。研究发现,AI 代理在大多数情况下做出了决定,而专家往往没有意识到。