Agent 六小时从零搭 RAG,均分超人类最佳基线 11.7 分

AutoRAGBench: A Benchmark for LLM Agents Automating RAG System Development

Hang Zhang, Yuzhi Pan, Ziyao Zhong, Chaokun Wang, Shuo Cao, Zeyu Huang, Yue Xue, Fang Niu, Bofan Xie, Guanchen Ge, Zecheng Li, Leqi Zheng, Ziyang Liu, Wei Wang, Miao Gu

cs.CL, cs.AI, cs.IR

2026-11-19

LLM agent 在单张 H800 上六小时从零搭 RAG 系统,GPT-6.1 Sol 九任务平均 56.1 分,超人类 SOTA 复合基线 11.7 分。

这篇在解决什么

搭一个好用的 RAG(检索增强生成,先取证据再让 LLM 作答)系统是典型的手艺活:语料怎么切、索引怎么建、检索用稀疏还是稠密、证据怎么筛,全看任务和领域。多跳问题要把两篇文章的证据拼起来,知识图谱问题要做实体链接和图遍历,没有一套通吃的配置。工程师的日常就是分析文档、选策略、跑测试、看结果、改设计,一轮一轮磨。

已有的两类工作都回答不了「agent 能不能把这活干了」。RAG 评测基准(RAGBench、CRAG 这类)评的是管线组件和答案质量,不评搭系统的过程;自动化 RAG 优化工具(AutoRAG、FlashRAG、HAMMER)再聪明,也只在预定义的组件和超参空间里挑配置。AutoRAGBench(清华软院与微博联合工作)把问题改成:给 agent 一份语料、一批问答样例、一张 H800 和六小时,不给起始代码、不给设计空间,让它像工程师一样从零把系统写出来、测出来、改出来。

方法

benchmark 的设计围绕两个难点:任务要够多样、环境要够干净;既要评系统,也要评迭代过程。

任务面:九个任务分五类,覆盖开放域 QA(NQ)、文档多跳 QA(HotpotQA、MuSiQue、MultiHop-RAG)、领域 QA(PubMedQA、QASPER)、事实核验(FEVER)、知识图谱 QA(WebQSP、CWQ)。语料规模从 609 篇新闻到 2100 万条 Wikipedia 段落,每个任务留 1000 道隐藏测试题。

环境面:每次构建跑在干净的隔离容器里,测试集在容器外;只能用给定语料检索,不许下载外部数据集。agent 全程的操作记录构成开发轨迹,用 DeepSeek 自动审计加人工复查,确认违规的运行要么重跑、要么直接记 BM25(经典词频检索)基线的分。

评测的关键设计是把「检索系统」和「答题模型」解耦:五个从未在开发阶段露面的 3B-4B 小模型(Gemma-3-4B、Phi-4-mini 等)各自用同一份检索证据独立答题,取平均分。reader 的能力差异被摊平,分数主要反映证据质量。系统通过 POST /retrieve 接口返回有序证据片段,每题限 4 次辅助 LLM 调用、60 秒内返回;生成的摘要可以引导检索,但不能顶替语料证据。

过程侧,把开发轨迹切成准备、写码、跑测试、分析四类活动,并跟踪每一版的开发分:首版到末版涨了多少、从峰值掉下来多少。

结果

方法九任务平均分
GPT-6.1 Sol(Codex CLI)56.1
GPT-6 Sol(Codex CLI)54.1
GLM-5.3(Claude Code)50.5
Reference RAG(混合检索+重排)46.4
Human-SOTA(复合基线)44.4
Naive BM25 RAG36.7
Closed-book(不检索)25.3

九个配置全部超过 BM25,七个超过 Reference RAG,全部高于 Human-SOTA 复合基线。第一名领先 Reference RAG 9.7 分,这个幅度恰好等于 BM25 到 Reference RAG 的差距。

增益集中在知识图谱任务:WebQSP 上九个配置全部超过 Reference RAG,平均高 14.1 分,CWQ 最高拉开 27.3 分。策略统计给出解释:18 个知识图谱系统全部实现了图遍历,这是两个自动优化框架搜索空间里没有的操作。HotpotQA 正相反,最好配置高 13 分,平均只高 0.6 分,配置间差距拉到 18.4 分。

代价是延迟。agent 系统平均每题 0.50-2.01 秒,是 Reference RAG(0.35 秒)的 1.4-5.8 倍,GPT-6.1 Sol 为 1.23 秒。多花的时间不保证多拿分:DeepSeek V4.1 Flash 耗时最长(2.01 秒),分数低于五个配置。

迭代有效,但也有陷阱。77 个有可比开发分的构建里,72 个至少某次比首版高 1 分,首末中位增益 5.5 分,到达峰值的中位时间是第 4 小时;20 个构建的末版比峰值低至少 1 分。GPT-5.6 Luna 是反面教材:开发分中位涨 10 分,隐藏测试只排第十,它 85% 的自测跑在同一份全量题文件上,反复测过的题得 53.0,没测过的题只有 35.0。开发分和真实成绩之间有一条要防的缝。

两个延伸实验更有实用价值。给七个任务的现有人类系统(HippoRAG 2、HyDE、SubgraphRAG 等)让 agent 改六小时,GPT-6.1 Sol 平均涨 16.6 分(7.4-26.4),HyDE 在 HotpotQA 上从 37.37 涨到 63.74。对比自动优化框架,六个共同任务上 agent 平均 57.0,Agentic AutoRAG 44.5,FlashRAG 43.6,后者在 HotpotQA 上六小时没建完索引。成本上,九个任务跑完,GPT-6.1 Sol 的 API 花费约 167 美元,DeepSeek V4.1 Flash 约 9.5 美元;时间大头在测试和分析,占构建时间的 57-87%,中位每个构建跑 48-68 轮改-测循环。

为什么重要

这篇把「agent 能不能做真实工程」从写一个函数的粒度拉到了做一个系统的粒度,答案是可以:六小时、167 美元、无起始代码,产出超过一批改编后的人类 SOTA 方法。

对做 RAG 的团队,最直接可用的是改进实验:大部分团队手里已经有一个能跑的系统,让 agent 改六小时平均值回 16.6 分,比从零构建更贴近落地路径。知识图谱任务上的大幅领先还说明,开放代码空间里长得出配置搜索覆盖不到的设计(图遍历),这是对 AutoRAG 一类框架的实质批评。

也要看清分数结构:Human-SOTA 是各任务取最高分拼出的包络线,给了 24 小时开发预算,并不是一个可部署的系统,11.7 分的标题差距把这个不对等放大了。benchmark 证明的是 agent 的工程循环跑得通,不是 RAG 研究可以停了。

局限与存疑

论文自己列的:81 个系统的策略标注只由一人完成,第二标注员校验还没做;开发活动的归类规则由模型帮忙制定,缺独立人工验证;Human-SOTA 是约束改编后的实现,分数不必复现原论文;开发分是构建内的描述性指标,各构建题目集不同。

读下来还有几处要留神。五个答题模型全是 3B-4B 小模型,只做了排名稳定性检查,没测更强 reader 下的绝对分数。CWQ 重复一次实验,分数从 34.58 掉到 33.20,单次运行有方差,九任务平均分上 1 分以内的差距不必过度解读。20/77 的构建末版低于峰值,benchmark 取六小时冻结版,checkpoint 选择对最终分的影响没有被单独量化。框架对比的适配器省略了部分诊断操作,分差有多少能归因于「搜索空间不够大」并不干净。

术语

原文与代码

社区讨论

相关论文

全部论文解读