跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

310条精选相关主题论文研究政策监管推理能力

最新精选

第 141–160 条 · 共 310 条
10月16日周五
  1. Solidot70

    以色列公司利用数字广告安装间谍软件

    以色列公司 Discover-Tech 通过数字广告在半岛电视台设备上安装间谍软件,这是首次利用数字广告实施的零点击攻击。Google 已采取措施切断其接入数字广告生态系统的渠道。

    推荐理由:原文揭示了数字广告被用于间谍软件攻击的新趋势,读者可以关注这一安全风险及其对数字广告行业的影响。

10月15日周四
  1. InfoQ中文75

    Archestra 发布 OpenAPPA,用于防范提示词注入或模型幻觉引发的数据外泄

    Archestra 发布了开源安全引擎 OpenAPPA,旨在防止由提示词注入或模型幻觉引发的数据外泄。该引擎在智能体执行循环之外运行,通过配置定义数据源、访问对象、信任等级和权限主体等,并实施确定性安全强制执行规则。

    推荐理由:OpenAPPA 是一款开源的安全引擎,旨在防止数据外泄,读者可以了解其如何提高智能体安全性。

  2. IT之家65

    微软联手日本警方捣毁跨国诈骗网络,涉及超 10 亿条恶意信息攻击

    微软协助日本警方捣毁跨国诈骗网络,涉及超 10 亿条恶意信息攻击,诈骗者通过 YAM Store、CoGUI 和 Iron Man 平台实施攻击,微软已封禁相关账号并拦截仿冒域名。

    推荐理由:微软协助日本警方捣毁跨国诈骗网络,涉及超 10 亿条恶意信息攻击,读者可关注网络安全事件对行业的影响。

  3. IT之家65

    微软 Microsoft Defender 入驻 Linux 平台

    微软发布 Microsoft Defender Linux 版本,提供杀毒、EDR、漏洞管理等安全功能,支持多种 Linux 发行版,需订阅 Microsoft Defender 端点保护计划或 Microsoft 365 E5/E7。

    推荐理由:微软将 Microsoft Defender 引入 Linux 平台,为用户提供更全面的安全解决方案,这可能改变现有 Linux 系统的安全防护方式。

  4. Latent Space65

    OpenAI 和 Anthropic 探讨金融智能体自主性与安全性

    OpenAI 和 Anthropic 在 AI 工程师纽约会议上探讨了如何平衡智能体的自主性和安全性,强调了控制和人机判断的重要性,并分享了他们在金融领域的具体实践和观点。

    推荐理由:文章探讨了 OpenAI 和 Anthropic 在金融智能体自主性和安全性方面的观点,对理解行业趋势和智能体发展有重要意义。

  5. The Decoder60

    OpenAI 将发布至少一个模型,但其旗舰产品仍需对齐工作

    OpenAI 正在开发新的旗舰模型,该模型使用与 Astra 相同的循环 Transformer 技术,但需要进行对齐工作以确保其目标与 OpenAI 的研究人员和客户的期望相符。此外,该模型还需要加强测试基础设施,并接受美国政府的安全评估。

    推荐理由:OpenAI 正在开发新的旗舰模型,该模型使用与 Astra 相同的循环 Transformer 技术,但需要进行对齐工作以确保其目标与 OpenAI 的研究人员和客户的期望相符。此外,该模型还需要加强测试基础设施,并接受美国政府的安全评估。

10月14日周三
  1. Ars Technica · AI65

    Anthropic 警告小型AI模型可能通过物联网设备自我复制

    AI公司Anthropic警告,小型AI模型可能通过物联网设备自我复制,引发新型计算机蠕虫的担忧,这可能导致难以关闭的恶意软件感染各种智能设备。

    推荐理由:原文探讨了小型AI模型可能通过物联网设备自我复制,引发对新型计算机蠕虫的担忧,读者可以了解这一趋势及其潜在影响。