论文：廉价验证器打平前沿 LLM 审 RAG 论断，成本仅 1/187
rohanpaul_ai · x · 2026-10-27
rohanpaulai 解读一篇 arXiv 论文：RAG 管线高频需要回答「证据是否支持该论断」，多数团队直接用生成式 LLM 付生成价格来判定。
论文在 495 条人工标注论断（LLM-AggreFact）上对比了非生成式判定模型 Jev 与前沿 LLM GPT-6 Astra：
- 准确率打平、成本差 187 倍：Jev 与 Astra 的配对准确率差仅 -0.56 分，统计上不可区分，但成本低 187 倍。
- 平局掩盖错误差异：两者在 15.2% 的论断上判断不一致；Jev 放行了 23.2% 标注为「无支撑」的论断，Astra 为 14.1%。判定器的本职是拦住无支撑论断，应看这个指标而非表面准确率。
- 级联并不省钱于随机：Jev 处理高置信论断、其余升级给 Astra 的级联方案达 74.10 分、每千条 $2.92；但同样预算下随机升级的对照组表现相当——省的钱来自升级比例，而非概率挑选的质量。相比纯用 Jev，级联贵 61 倍只换来 0.83 分（95% CI 跨零）。
结论：同等准确率掩盖了不等同的错误结构，选 RAG 论断校验器时应实测其放行无支撑论断的比例。论文公开了预测、prompt、定价与代码。
所属事件:廉价验证器级联审 RAG 论断,成本仅前沿 LLM 的 1/187(2 条相关)→
「编程与Agent」频道最新
- xAI 免费放出 18 篇 Grok Bot 实战指南,覆盖销售到工程约 3 小时 — victor_explore · 2026-10-27
- 「每天 100+ commits 成新底线」：AI 编码时代的产出军备竞赛 — damnGruz · 2026-10-27
- Rocket 开放应用平台上线：为 vibe coder 汇聚与分发 AI 应用 — alexmacgregor__ · 2026-10-27
- 不建 3D 模型：用 AI 生成视频拆帧做出可交互 3D 商品展示 — aigclink · 2026-10-27
- 商品照变可旋转展示完整教程：GPT-6 Astra + AI 视频当 UI 动画 — MaziyarPanahi · 2026-10-27
- DeepSeek 领队 4 个 Qwen3.5-9B 逆向工程二进制,实验显示团队协作反成开销 — HauntingMoment · 2026-10-27