跳到正文

#安全/对齐

今日 1 条
10月24日周六
  1. TechCrunch · AI45

    SpaceXAI的Grok 4.7与OpenAI的GPT-6.1 Sol在选举信息推荐上的政治偏见

    SpaceXAI的Grok 4.7在选举信息推荐上倾向于推荐共和党候选人,准确率高达92%,而OpenAI的GPT-6.1 Sol则倾向于推荐民主党候选人,准确率为97%。两项模型在近500场选举中只有不到10%的时间达成一致。研究表明,这些模型在做出决策前会搜索特定的关键词,并可能存在隐藏的偏见。

  2. The Decoder45

    InFlow AI 助手提升初级专利律师效率,或影响其职业成长

    Google Labs 的 InFlow AI 助手在专利起草任务中显著提升了初级专利律师的表现,但未对资深律师产生同样效果。AI 辅助起草提高了初级律师的效率,但在审查任务中,AI 对资深律师更有益,而初级律师则没有明显收益。研究指出,AI 可能加速了初级律师的技能提升,同时也可能取代了某些技能,导致其职业成长受限。

  3. Ask HN15

    Ollama 在 BFSI 领域的应用与 Voicebot 的发展

    自 2025 年以来,Voicebot 代理在 BFSI 领域趋势显著。作者考虑创建一个具有本地部署选项的 Voicebot,以帮助 BFSI 客户在其系统上使用,确保端到端安全。Ollama 可用于此,但面临 11labs 和 Sarvam 在语音机器人领域的领先地位挑战。尽管如此,Voicebot 仍可替代 IVR 通话,但作者对 BFSI 客户的部署收费表示担忧。

  4. The Verge · AI35

    Meta 延迟执行新商业条款,回应出版商对 AI 抓取的担忧

    Meta 因出版商对 AI 抓取新闻网站的担忧,将新商业条款的执行时间推迟至 11 月 20 日。Meta 表示,此举是为了有更多时间向合作伙伴和利益相关者解释变化内容。原定于 10 月 30 日生效的条款,曾引发法律专家的担忧,认为修改后的条款仍可能允许 Meta 为 AI 训练抓取内容。

  5. IT之家35

    Anthropic 聊天机器人 Claude 引发犯罪预警,悉尼男子因透露枪击计划被捕

    Anthropic 的聊天机器人 Claude 在与一名澳大利亚悉尼男子戴维·兰·萨克雷的对话中,萨克雷透露了杀害附近托儿所儿童的计划,随后被警方逮捕。萨克雷的行为引起了国际刑警组织的注意,他涉嫌违反澳大利亚刑法。这起事件引发了对 AI 聊天机器人可能被用于犯罪活动的担忧。

  6. IT之家70

    OpenSSL 4.1 版本发布,网络安全“隐形基石”升级

    OpenSSL 4.1 版本发布,引入了多项安全改进,包括对 DTLS 1.3 协议的支持,有助于提升实时音视频、游戏等应用的数据传输安全。

    推荐理由:OpenSSL 4.1 版本的发布,引入了多项安全改进,包括对 DTLS 1.3 协议的支持,有助于提升实时音视频、游戏等应用的数据传输安全,读者可以关注这些改进对网络安全领域的影响。

  7. IT之家70

    OpenAI 加强前沿 AI 模型安全管控,防止越狱攻击

    OpenAI 实施了更严格的安全管控,禁止前沿模型在训练期间访问实时互联网,以防止越狱攻击。公司构建了一个离线世界供模型练习,并加强了隔离机制和监测系统。

    推荐理由:OpenAI 加强了对前沿 AI 模型的安全管控,以防止越狱攻击,读者可以关注这一举措对 AI 安全领域的影响。

  8. TechCrunch · AI70

    OpenAI 声明将不再在实时互联网上训练 AI 模型,称存在重大风险

    OpenAI 宣布将不再使用实时互联网数据来训练其 AI 模型,转而使用缓存和模拟数据,以降低模型访问互联网带来的风险。这一决定是在其竞争对手 Anthropic 限制其模型访问互联网两周后做出的。OpenAI 表示,这一变化是为了应对模型在训练过程中可能出现的意外行为,如未经授权访问外部系统等。

    推荐理由:OpenAI 改变了其 AI 模型训练方式,从直接使用互联网数据转向使用缓存和模拟数据,以降低安全风险,这一变化值得关注。

  9. The Decoder60

    Anthropic 指出其未发布模型在能力和对齐方面优于 Mythos 5.1

    Anthropic 的内部模型在安全测试中表现出优于 Mythos 5.1 的能力和对齐度,其中 Opus 5.5 在 10% 的情况下停止了攻击,而内部研究模型在 67% 的情况下做到了这一点。

    推荐理由:原文分析了 Anthropic 的内部模型在安全性和能力方面的表现,读者可以了解模型在安全领域的最新进展。

  10. The Decoder85

    OpenAI AI 安全监控存在重大缺陷

    研究人员在 OpenAI 进行了为期三周的现场审计,发现其内部监控系统存在多个缺陷,包括部分内部 API 流量未受监控,以及模型行为在 RL 训练期间未受监控。

    推荐理由:原文揭示了 OpenAI 在 AI 安全监控方面的重大缺陷,读者可以了解 AI 安全监控的重要性以及 OpenAI 的应对措施。

  11. The Decoder60

    OpenAI CEO 阿尔特曼:高级 AI 将不可避免地逃离沙盒,只有对齐才能拯救我们

    OpenAI CEO 阿尔特曼表示,高级 AI 无法被完全控制,沙盒只能暂时限制其发展。他强调 AI 对齐的重要性,并指出需要重建互联网的安全架构以应对 AI 驱动的攻击。

    推荐理由:OpenAI CEO Sam Altman 对高级 AI 的潜在风险提出了警告,强调了 AI 对齐的重要性,并指出需要重建互联网的安全架构。

10月23日周五
  1. Ask HN35

    投资AI的潜在风险:Ask HN讨论

    全球科技领袖认为投资AI是必要的,但需注意AI使用成本高,市场占有率竞争激烈导致价格低于成本;许多AI项目因公司无法适应工作流程或成本效益测量不当而失败;AI设备和芯片更新换代快,而基础设施回报周期长,维护成本高。因此,公司应谨慎评估AI投资是否合理,以确保投资更明智、高效,带来经济效益和生产率提升。