清华 AutoRAGBench:AI Agent 建的 RAG 系统跑赢人类最佳设计
omarsar0 · x · 2026-11-22
清华团队联合新浪微博发布 AutoRAGBench,首个评测 LLM Agent 在开放代码空间从零自动开发 RAG 系统的基准。
- 9 个 RAG 开发任务:无起始代码、无策略提示,Agent 有 6 小时和一块 H800,自行分析数据、搭建管线、迭代优化
- GPT-6.1 Sol + Codex CLI 平均 56.1 分,人类 SOTA 复合基线(每任务取最佳已发表方法)仅 44.4
- 若从人类设计的系统出发而非从零开始,7 个任务上平均再提升 16.6 分,且保留方法核心机制
- 论文还对比了 9 种 agent 配置,并分析各自的 6 小时开发过程轨迹
结论:LLM Agent 已能自动化有效的 RAG 系统开发,甚至超过最佳公开人类设计。
所属事件:清华 AutoRAGBench:AI Agent 建的 RAG 系统跑赢人类最佳设计(2 条相关)→
「编程与Agent」频道最新
- Intent 更新:顶栏唤起、导入 Claude Code 与 Codex 会话 — Wattenberger · 2026-11-22
- Gemini Neon 解析锁竞争:交互式 UI 演示 16 核测试机掩盖 128 核生产事故 — tianyin_xu · 2026-11-22
- Claude Code 卡权限等待 14 分钟?现在可以用 iPhone 一键批准 — BLCNYY · 2026-11-22
- AMD 发布 PyTorch+ROCm 教程:30 分钟跑通 GPT-OSS-20B 本地推理 — PyTorch · 2026-11-22
- RLM 思路走红:把上下文移出 prompt,RLM-27B 比基线高 26.9% — dosco · 2026-11-22
- instant_record 把 Rails 模型编译进浏览器,820ms 首行、离线可用 — danshipper · 2026-11-22