RAGCap-Bench:细粒度评测 Agentic RAG 中间能力的新基准
kalyan_kpl · x · 2026-11-10
一篇发表于 AACL/IJCNLP 2026 的论文提出 RAGCap-Bench,一个面向 Agentic RAG 系统的能力型评测基准。
- 动机:Agentic RAG 让 LLM 以 agent 身份迭代式地规划、检索与推理,但在多跳复杂问题上仍表现不佳,且中间推理能力缺乏细粒度评估。
- 方法:作者分析 SOTA 系统的输出,归纳出常见中间任务及所需核心能力,并构建典型 LLM 错误的分类体系,据此设计针对性评测题。
- 结论:实验显示 RAGCap 表现更强的「慢思考」模型端到端结果也更好,说明该基准有效,也证明提升中间能力的重要性。
论文由 Jingru Lin、Chen Zhang、Yong Liu、Haizhou Li 合作完成,已收录于 ACL Anthology。
「研究」频道最新
- VIALS-AA 基准：Claude Fable 5.2 以 67% 居首，工具调用远超对手 — ArtificialAnlys · 2026-11-10
- 西弗吉尼亚大学学者分享十年脑白质束成像研究成果 — PTenigma · 2026-11-10
- 作者晒 pSTAT1 与 importin alpha 5 结合的冷冻电镜结构(11GJ) — chaitjo · 2026-11-10
- ARLoop 发布:1.2B 循环 Transformer 全基准超越 Huginn-3.5B — hhsun1 · 2026-11-10
- 网络并非尺度不变，为何众多方法却由此启发？ — Jianlin_S · 2026-11-10
- RBA 让 LLaVA-OneVision-2 训练无损提速 3 倍，已合入主仓库 — liuziwei7 · 2026-11-10