研究型 agent 评测为何低分:基准需要合理上限而非满分预期

nathanbenaich · x · 2026-11-18

Abundant 团队发文探讨如何为研究型任务设定现实的 agent 评测目标。随着 MLE-bench、RE-Bench、PaperBench 等基准把 agent 推向科研本身,低分常被解读为模型不行,但研究任务的特殊性在于往往没人知道正确答案——即使是理想 agent 也难达 100%,因为噪声数据、缺失信息、实验不确定性构成了可达成绩的硬上限。

文章要点:

结论:每个基准都应审计并给出现实上限,才能判断 agent 是真的表现不佳,还是被不合理的期望冤枉了。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →