跳到正文

#GitHub

今日 0 条
10月7日周三
10月6日周二
  1. GitHub Blog · AI & ML52

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,研究预览版已上线官网。基准基于 1.039 亿个 GitHub pull request 的分布构建,包含 19 种语言、187 个开源仓库的 219 个 pull request,采用多来源 golden set 与统一评分标准,发布前由资深工程师独立复核,一致率 96.6%。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,读者可据此判断自家审查智能体的强弱与取舍。

10月5日周一
  1. Show HN62

    DoubtBench 发布:用人类分歧评测 System One 模型的不确定性

    DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准,把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目,同时考察模型答对率和概率是否与人类分歧对齐。

    推荐理由:DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致,并给出可复现的评测命令与榜单。