Show HN· deepbuilder·· 29 天前精选AI 评分62
DoubtBench 发布：用人类分歧评测 System One 模型的不确定性
Show HN: DoubtBench – does Jev know when humans disagree?
AI 导读
DoubtBench 是一个基于 NVIDIA HelpSteer2 多人标注数据构建的基准，把标注者的分歧转化为约 7,500 道 Score、Choice 和 Noul 题目，同时考察模型答对率和概率是否与人类分歧对齐。
推荐理由
DoubtBench 用 HelpSteer2 的多人标注衡量模型概率是否与人类分歧一致，并给出可复现的评测命令与榜单。
来源：Show HN · github.com