跳到正文
原文
Show HN· loganmann0324·· 29 天前AI 评分38

Show HN:Rare Failure Eval——智能体评测中选对率与决策代价的错位实验

Show HN: Rare Failure Eval

AI 导读

一项可复现的 Python 实验 Rare Failure Eval 显示,智能体评测器的选择准确率与决策代价可能给出不同排名:在集中风险场景下,方差分配策略把错选率从 44.4% 提高到 52.6%,但平均效用损失反而降低 27.8%(0.0268 降至 0.0193)。

来源:Show HN · github.com