AutoRAGBench:智能体从零造 RAG 系统,GPT-6.1 得分 56.1 超人类基线
_reachsumit · x · 2026-11-20
新 benchmark AutoRAGBench 首次系统评估 LLM 智能体能否在开放代码空间中从零开发 RAG 系统。
- 共 9 个 RAG 系统开发任务,不给起始代码与指定策略,单个 H800 GPU 上限 6 小时,智能体需分析数据、实现管线并依据实验反馈迭代
- 评测 9 种智能体配置,最高分为 GPT-6.1 Sol + Codex CLI,平均 56.1 分,超过人类 SOTA 组合的 44.4 分
- 结论:LLM 智能体已能自动化有效的 RAG 系统开发;论文还分析了各配置的开发轨迹
「编程与Agent」频道最新
- OtterKit 一条命令把本地 MCP 服务器变公开 URL 免部署测试 — Conscious-Return-183 · 2026-11-20
- Andrew Carr:被 Antigravity 移动端 PWA 坑到床上躺着跑 agent 写码 — andrew_n_carr · 2026-11-20
- Meta 用 LLM 智能体为全舰队广告排序模型选特征,线上指标 +0.20% — _reachsumit · 2026-11-20
- 用 Gemini 与 Three.js TSL 写出程序化生成哥斯拉演示 — majidmanzarpour · 2026-11-20
- 用户的 Agent 偷偷吃掉 54GB 存储,全是不用的 git worktree — itsOmSarraf_ · 2026-11-20
- Harness 工程差距悬殊:同模型下 Provider 39% vs Mini-SWE 12.8% — andrew_n_carr · 2026-11-20