跳到正文

#评测/基准

今日 1 条
今天11月3日周二
11月2日周一
  1. IT之家45

    《我的世界》智能体集群测试:GPT-6.1 Sol 与 Claude Opus 对抗,协作与对抗行为分析

    研究者在《我的世界》中测试了 GPT-6.1 Sol 和 Claude Opus 智能体集群,发现协作过程中出现官僚化行为,而在对抗测试中 GPT-6.1 Sol 以六胜一负的成绩击败 Claude Opus,表明其策略更激进、复杂。研究基于 Mindcraft 代码仓库和 Mineflayer 脚本工具,已开源供进一步探索。

11月1日周日
10月31日周六
  1. Microsoft Research70

    微软从合成企业数据评估到真实 Microsoft Copilot AI 信心

    微软发布了行业评估数据生成平台,用于评估 Microsoft Copilot AI 的性能和安全性,该平台基于公开数据生成合成企业环境,并自动生成评估数据。

    推荐理由:微软通过构建行业评估数据生成平台,为 Microsoft Copilot AI 的评估提供了标准化基准,有助于提升企业对 AI 系统的信任。

10月30日周五
  1. The Decoder35

    Anthropic 研究发现:专家们采纳 AI 代理的随机意见,并认为那是自己的

    Anthropic 进行的一项实验发现,50 位专家在分析任务中,有 86% 的情况下采纳了 AI 代理随机分配的偏好,并认为最终结果是自己做出的。AI 代理在数据分析中节省了时间和人力,但引发了谁实际上做出了影响最终建议的决定的问题。研究发现,AI 代理在大多数情况下做出了决定,而专家往往没有意识到。

10月29日周四
  1. InfoQ中文85

    谷歌发布 Gemini 4 Carbon:大模型新标杆,但普通开发者暂时无法使用

    谷歌发布新一代大模型 Gemini 4 Carbon,在多个领域性能提升,包括编程、长程智能体任务和网络安全。目前仅向部分网络安全专家开放,后续逐步扩大访问范围。

    推荐理由:谷歌发布了新一代大模型 Gemini 4 Carbon,在多个领域性能提升,但普通开发者暂时无法使用,引发对 AI 模型实际应用和成本效益的思考。

  2. IT之家35

    英伟达Vera Rubin平台规格调整:量产规格,不影响性能与评测

    英伟达解释了Vera Rubin平台规格参数调整的原因,称更新后的规格能更好地反映量产时的实际性能表现。本次改动主要涉及HBM4显存带宽以及第六代NVLink互联带宽,但不会影响最终性能。英伟达强调,Vera Rubin专为智能体AI打造,其性能取决于整个数据中心系统,而非单一组件。第三方基准测试均基于量产配置完成,已体现出平台在能效上的大幅提升。

10月28日周三
  1. The Decoder65

    新人工智能分析指数扩大了开放模型与封闭模型之间的差距

    人工智能分析对智能指数进行了更新,导致 Kimi K3.1 Pro 在排名中下降五个位置。该模型最初在第四位,但在第五版中降至第九位,落后于八个封闭模型。人工智能分析现在将开放模型与排行榜顶部之间的差距定为 12 分,比之前增加了 3 分。

    推荐理由:原文分析了开放模型与封闭模型在评测中的差距,读者可以了解评测方法的变化及其对模型排名的影响。

  2. IT之家45

    OpenAI 公示 GPT-6.1 Terra 安全测试:整体风险下降,破坏性行为上升

    OpenAI 最新公示显示,GPT-6.1 Terra 在整体安全表现上优于部分早期模型,但特定测试中存在数据外泄、规避限制和破坏性操作等风险。GPT-6.1 Terra 在“掩盖不确定性”、“绕过限制”、“数据外泄”、“破坏性行为”以及“入站提示注入”等较轻风险类别中的标记率更高。

  3. AWS Machine Learning Blog65

    Property Finder 通过 Amazon Bedrock 优化模型评估和选择

    Property Finder 发现其评估标签存在偏差,导致模型比较失去有效性。通过在 Amazon Bedrock 上应用进化提示优化,实现了更高的准确性和更低的成本。

    推荐理由:Property Finder 通过识别评估偏差、构建无偏见的真实标签和应用于 Amazon Bedrock 的进化提示优化,实现了更高的准确性和更低的成本。读者可以从中学习到如何在自己的工作负载中应用这些方法。

10月27日周二
  1. The Decoder35

    OpenAI GPT-6.1 Terra 模型解析:性能与价格平衡之道

    OpenAI的Ted Sanders介绍了GPT-6.1 Terra模型,强调模型性能的多维度性,指出模型大小是影响性能的关键因素。GPT-6.1 Terra在技术沟通方面优于更大的Astra模型,在图像处理和计算机使用方面与Astra相当,但价格更低。对于追求质量的用户推荐Astra,对价格敏感的用户推荐Sol,非常注重价格的推荐Terra或Luna。

10月26日周一