RExBench 基准显示最强编码 Agent 自主研究扩展成功率仅 33%
ACL 2026 论文 RExBench(作者包括 Sebastian Schuster、Najoung Kim 等)提出新基准,评估 LLM 编码智能体能否自主实现「研究扩展」:任务基于 12 篇真实研究论文及其代码库,要求智能体在不依赖人类干预的情况下完成研究扩展工作。结果显示,即使是最强的编码智能体,自主完成研究扩展的成功率也仅约 33%,表明当前智能体距离完全自主的科研能力仍有明显差距。
2026-10-16 ~ 2026-10-16 · 3 条相关
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
另有 2 条近重复转述:najoungkim · najoungkim