研究型 agent 评测为何低分:基准需要合理上限而非满分预期
nathanbenaich · x · 2026-11-18
Abundant 团队发文探讨如何为研究型任务设定现实的 agent 评测目标。随着 MLE-bench、RE-Bench、PaperBench 等基准把 agent 推向科研本身,低分常被解读为模型不行,但研究任务的特殊性在于往往没人知道正确答案——即使是理想 agent 也难达 100%,因为噪声数据、缺失信息、实验不确定性构成了可达成绩的硬上限。
文章要点:
- 低分可能反映的是任务设计问题而非模型能力,关键在于 agent 可获得的信息是否足以支撑高分;文中一个案例的答案依赖 agent 看不到的抗体片段,部分错误不可避免。
- 借鉴 RE-Bench 的做法:给朴素基线记 0 分、强参考解记 1 分,用相对进步衡量开放式任务。
- 若目标设得过高,奖励会被压缩趋近 0(配图展示同一批五次运行在两种目标估计下的差异)。
结论:每个基准都应审计并给出现实上限,才能判断 agent 是真的表现不佳,还是被不合理的期望冤枉了。
「编程与Agent」频道最新
- Hugging Face 用 RL+LoRA 适配 Qwen 给 pi 编码 agent,SWE-bench Pro Hard 从 29.4% 升至 62.7% — art_zucker · 2026-11-18
- Forrest PKnight 排名各编程语言:看 AI 写哪种代码最顺手 — Dan_Jeffries1 · 2026-11-18
- 用 Claude 加 Unreal Engine 5.9 MCP,一天做出游戏续作原型 — TomLikesRobots · 2026-11-18
- 开源 guardrail-middleware:纯确定性检查点拦截失控的 Agent 工具调用 — MidnightHeavy3064 · 2026-11-18
- 最离不开的 Agent 最无聊:每天自动整理下载文件夹的发票与收据 — Winterocean812 · 2026-11-18
- 开源 ZeroIDE-MCP:让一个浏览器 AI Agent 跨多台 Windows 电脑远程干活 — Danywalery · 2026-11-18