跳到正文

#评测/基准

今日 0 条
11月2日周一
11月1日周日
10月30日周五
10月28日周三
10月27日周二
  1. Show HN30

    StockBot:利用Claude模型分析Reddit股票讨论的探索性软件研究

    StockBot是一款探索性软件,通过分析Reddit股票讨论,使用Claude模型进行买卖建议。该系统在100天内收集了717,205条股票提及和78次模型调用,结果显示股票在10个交易日内平均下跌7.3%。StockBot包含两个不同的选择路径:系统选择和用户选择,并通过Telegram发送简报。该研究旨在了解语言模型在处理市场数据时的行为,但不应被视为投资建议。

10月26日周一
10月24日周六
10月23日周五
10月20日周二
10月19日周一
10月18日周日
  1. The Decoder35

    Taste-Bench:评估AI长期决策能力的基准测试

    Taste-Bench基准测试旨在评估AI在长期决策中的“品味”,通过分析AI在任务执行过程中的决策路径,测试其在决策节点选择正确路径的能力。测试结果显示,即使是顶级模型GPT-5.6 Sol,在二选一决策问题上的准确率也只有约60%。此外,研究人员还发现,通过训练,AI的长期决策能力可以得到提升。

10月16日周五
10月15日周四
10月13日周二
10月12日周一
10月11日周日
10月10日周六
10月9日周五
10月8日周四
  1. 量子位62

    UniPat AI 发布 PaperBenchX:GPT-6 Astra 论文完整复现率仅 13.98%

    UniPat AI 发布 PaperBenchX,这是国际上第一个多学科端到端论文结果复现的 Benchmark,从 93 篇论文构建 93 个复现任务,横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境,含 3168 条专家校验评分项。

    推荐理由:PaperBenchX 用 93 个跨学科复现任务量出 AI 与通用 AI 科学家之间的距离,并开源 12 个任务供复用。

10月7日周三
10月6日周二
  1. GitHub Blog · AI & ML52

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱与取舍。

  2. Simon Willison27

    Qwen3.8 27B 用英文单词做加法的基准测试

    Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达整数加法结果。禁用推理时 5,070 个用例数值准确率仅 23.57%,一至三位数操作数从 97.04% 降至十至十三位数的 6.44%,格式合规率 96.17%。启用推理后 169 次配对测试答对 167 次。

10月5日周一
  1. Show HN62

    DoubtBench 发布:用人类分歧评测 System One 模型的不确定性

    DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。

    推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。

10月4日周日
10月3日周六
10月2日周五
9月23日周三
8月13日周四
  1. Microsoft Research39

    微软研究院发布 MindTopo 基准,揭示多模态模型拓扑推理短板

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并区分静态推理与交互规划两个认知层级。测试显示,当前模型在静态识别上明显优于交互规划,且两者均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨动作序列仍不可靠。