Show HN· deeplstm·· 29 天前精选AI 评分58
DoubtBench 发布：用人类分歧评测模型不确定性
Show HN: DoubtBench – test whether Jev knows when humans disagree
AI 导读
DoubtBench 是一个基于 NVIDIA HelpSteer2 的基准，把多位标注者的评分分歧转成约 7,500 道 Score、Choice 和 Noul 题目，同时考察模型答对率和概率是否与人类分歧一致。
推荐理由
DoubtBench 用人类标注分歧而非单一答案来评测模型不确定性，并给出可复现的提交与运行方式。
来源：Show HN · github.com