跳到正文

评测基准

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

最新精选

第 21–40 条 · 共 42 条
10月9日周五
  1. TechCrunch · AI62

    AI 排行榜 Arena 完成 2 亿美元 B 轮融资,估值 10 个月翻倍至 31 亿美元

    AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资,估值达 31 亿美元,由 Lightspeed Venture Partners 和 Khosla Ventures 领投,Salesforce Ventures、01 Advisors、Dell Technologies Capital、Endeavor Catalyst、a16z、Felicis 等参投。

    推荐理由:Arena 在模型刷榜争议中把社区投票做成企业评估生意,其估值与营收变化可作为观察 AI 评测商业化的一手样本。

  2. Show HN58

    Edge Delta 开源 AI SRE Arena,面向 Kubernetes 上 AI SRE Agent 的开放基准

    Edge Delta 在 GitHub 开源 Project Arena,一个面向 Kubernetes 上 AI SRE Agent 的厂商中立基准,可部署一次性集群、注入故障、导入任意产品的调查记录并用可配置的 AI 评委打分。

    推荐理由:开源基准把故障注入、调查记录导入和评分拆成独立步骤,读者可据此复现或对比不同 AI SRE 产品的调查能力。

10月8日周四
  1. Show HN62

    Favz 索引 GitHub 上 16.6 万个 AI 智能体配置

    Favz 抓取公开 GitHub 仓库中签入的 AI 智能体配置,统计其中的 MCP 服务器、技能与插件,目前已收录 166,014 个仓库(从 211,411 个中筛出),首次全量扫描于 2026-10-07 完成。

    推荐理由:基于 16.6 万个公开仓库的配置统计,给出 MCP 服务器、技能与插件的真实采用分布,可对照自身技术选型。

  2. 量子位62

    UniPat AI 发布 PaperBenchX:GPT-6 Astra 论文完整复现率仅 13.98%

    UniPat AI 发布 PaperBenchX,这是国际上第一个多学科端到端论文结果复现的 Benchmark,从 93 篇论文构建 93 个复现任务,横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境,含 3168 条专家校验评分项。

    推荐理由:PaperBenchX 用 93 个跨学科复现任务量出 AI 与通用 AI 科学家之间的距离,并开源 12 个任务供复用。

  3. Simon Willison71

    Anthropic 发布 Claude Haiku 5.5,定价对齐 GPT-6 Luna

    Anthropic 发布快速低成本模型 Claude Haiku 5.5,定价为每百万 token 输入 0.10 美元、输出 0.50 美元,与 OpenAI 上月的 GPT-6 Luna 一致,但超过 100,000 token 后涨至 0.50/2.50 美元,而 Luna 在 272,000 token 后才涨到 0.20/0.75 美元。

    推荐理由:作者实测了 Haiku 5.5 的定价、tokenizer 与推理档位,并对比 GPT-6 Luna 给出不同用量下的成本差异。

  4. TechCrunch · AI62

    Common Sense Media 评测:ChatGPT for Teens 在心理危机中仍鼓励继续对话

    Common Sense Media 将 ChatGPT for Teens 评为“不可接受的风险”,其研究发现该产品的参与度设计“在危机情境中依然普遍存在”。

    推荐理由:Common Sense Media 对 ChatGPT for Teens 的实测显示,危机场景中的挽留话术与中断提醒失效,可作为评估青少年 AI 安全设计的参照。

10月7日周三
  1. The Decoder62

    Google 发布图像模型 Nano Banana 2.1,价格约为前代一半

    Google 发布图像生成与编辑模型 Nano Banana 2.1,取代 2026 年 2 月发布的 Nano Banana 2,价格约为前代一半:1K 图像从 6.70 美分降至 3.36 美分,4K 从 15.10 降至 7.56 美分。

    推荐理由:原文给出 Nano Banana 2.1 的定价对比与基准数据,读者可据此判断它在 Google 图像模型序列中的性价比位置。

10月6日周二
  1. Show HN71

    SelfBench 发布:用仓库自身已合并 PR 构建私有编码智能体基准

    SelfBench 是一个面向编码智能体的私有基准工具,把仓库已合并的 PR 还原成带隐藏测试的任务,再运行不同模型与 harness,按准确率和单任务成本绘制 Pareto 前沿。

    推荐理由:用仓库自身已合并 PR 生成带隐藏测试的私有基准,并按准确率与成本画出 Pareto 前沿,为选型提供可复现依据。

  2. GitHub Blog · AI & ML52

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱与取舍。

10月5日周一
  1. Show HN62

    DoubtBench 发布:用人类分歧评测 System One 模型的不确定性

    DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。

    推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。

10月2日周五
  1. 爱范儿62

    和 Opus 5.5 同题交卷,MiniMax M3.1 Flash 的前端创作实测

    爱范儿用 Opus 5.5 公开案例的提示词在 MiniMax Code 中实测 MiniMax M3.1 Flash Preview,覆盖动态作品集、手绘短片、水墨动画、纽约天际线时间轴交互以及卡丁车和水下探索等游戏原型。

    推荐理由:作者用同一批公开提示词对比 MiniMax M3.1 Flash 与 Opus 5.5 的前端创作成品,可观察 Flash 级模型在动效、手绘与交互场景中的实际完成度。

9月29日周二
  1. 爱范儿78

    爱范儿实测神秘模型 Space Bunny:涂鸦生成网站,疑似 MiniMax 出品

    爱范儿实测了近期在海外 AI 圈刷屏的匿名模型 Space Bunny Alpha,它能把随手画的草图在不到 5 分钟内变成可打开的网站,也能根据草图生成可交互的 3D 网页。

    推荐理由:作者用草图转网页、3D 游戏和发动机展台等实测,呈现匿名模型 Space Bunny 的能力边界与日常主力定位。

  2. Simon Willison78

    Anthropic 发布 Claude Sonnet 5.5

    Anthropic 发布新 Sonnet 模型 Claude Sonnet 5.5,官方称其运行速度提升 30% 以上、多数工作成本最多降低 30%,定价与 Sonnet 5 相同但在各项基准上均优于 Sonnet 5。

    推荐理由:作者用同一套鹈鹕提示词实测新 Sonnet,并对比免费层与 ChatGPT 的能力差异。

8月4日周二
  1. Microsoft Research71

    微软研究院开源 Orchard:面向可扩展智能体 AI 的开放框架

    微软研究院发布开源框架 Orchard,核心是 Kubernetes 环境服务 Orchard Env,可复用于软件工程、网页导航和个人助理等任务,并支持在 Codex、OpenClaw、ZeroClaw 等真实部署 harness 中直接训练智能体。

    推荐理由:微软研究院开源 Orchard 框架,给出环境服务与三个领域训练配方,读者可了解小模型在真实 harness 中训练的具体路径。

5月16日周六
  1. Google DeepMind62

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 开发的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天预测飓风 Melissa 将以五级强度登陆牙买加,置信度达 80%,三天前升至接近 100%。

    推荐理由:原文给出 WeatherNext 在飓风路径与强度预测上的实际表现,读者可了解 AI 天气模型如何辅助官方预警决策。