RExBench：编码智能体自主扩展 AI 研究，最好成绩仅约 33%
najoungkim · x · 2026-10-16
arXiv 论文 RExBench（ACL 2026）提出评估 LLM 智能体能否自主实现研究扩展的基准：
- 包含 12 篇真实研究论文的扩展任务，每项任务基于现有论文与代码库，附领域专家撰写的说明，可自动执行输出判定成功标准，且对数据污染具有鲁棒性。
- 用 aider 与 OpenHands 两种框架共 12 个 LLM 智能体评测，结果显示所有智能体都无法自主完成大多数扩展，最佳智能体成功率约 33%。
- 加入人工提示后成功率提升，但最佳表现仍低于 44%，表明当前智能体距离自主推进研究仍有明显差距。
所属事件:RExBench 基准显示最强编码 Agent 自主研究扩展成功率仅 33%(3 条相关)→
「编程与Agent」频道最新
- 开发者 4 天重写 GitHub:Keel 让 Agent 先声明意图再改代码 — threepointone · 2026-10-16
- 小模型当裁判又塞满上下文：eval 常见反模式遭吐槽 — xeophon · 2026-10-16
- Meta 开放权重模型 Muse Spark Open 上架 Ollama：1M 上下文、可接 Claude Code — ollama · 2026-10-16
- Monid 上线：一个余额按次调用 1700+ 工具的 Agent 工具注册平台 — HeyAmit_ · 2026-10-16
- OpenAI 上线 Sites 官方教程:从创建到发布全流程 — OpenAIDevs · 2026-10-16
- OpenAI Sites 企业版正式 GA,支持美欧数据驻留 — OpenAIDevs · 2026-10-16