RExBench：最强编程智能体自主完成研究扩展成功率仅33%
najoungkim · x · 2026-10-26
ACL 论文 RExBench 评估「编程智能体能否自主实现 AI 研究扩展」。benchmark 由 12 篇真实论文的扩展任务构成，每个任务要求在现有论文和代码库基础上验证新研究假设，配有领域专家写的说明，并具备抗数据污染设计和自动评测基础设施（执行智能体输出判断是否达标）。
作者用 aider 和 OpenHands 两个框架实现了 12 个 LLM 智能体进行评测：所有智能体都无法自主完成大多数扩展任务，最好的成功率约 33%；即使加入人类手写提示，最好成绩仍低于 44%。结论：当前智能体离无需大量人类指导即可处理真实研究扩展任务还很远。作者在 EMNLP2026 全体会议上被 Lillian Lee 点名提及，并猜测模型能力可能已进入「隐式错误更难发现」的阶段。
「编程与Agent」频道最新
- 用 Claude 把高斯泼溅花园场景在 Blender 里程序化重建 — CSProfKGD · 2026-10-26
- 50 次 Agent 测试：没有一个模型去读文档 — ducha_aiki · 2026-10-26
- Every 团队揭秘「前沿小组」：专人盯 AI 进展，集成才是关键 — every · 2026-10-26
- 1300 条回复变好物清单:用 AI bot 抓取 Lenny 推文每日更新 — Scobleizer · 2026-10-26
- Nat Eliason 录制深度教程：这样配置 bot 才能榨干全部价值 — nateliason · 2026-10-26
- 用器官移植 AI Agent 演示 6 类生产级智能体失效与修复 — MaryamMiradi · 2026-10-26