Show HN· eadz·· 1 天前AI 评分45
RMRFBench:AI代理在执行删除文件任务时破坏服务器的频率基准测试
Show HN: RMRFBench – How often AI agents wreck a server when asked to rm a file
AI 导读
RMRFBench基准测试评估AI代理在执行删除文件任务时破坏服务器的频率,通过在Linux服务器上执行删除操作并检查服务器状态,评估模型的鲁棒性。测试结果显示,模型在完成任务的效率与服务器完整性之间存在权衡,鲁棒性更高的模型在完成更多任务的同时,破坏服务器的次数更少。
来源:Show HN · rmrfbench.com