平均分离了真相：RAG 评测须逐查询对比，均值分数掩盖关键回退
SeaAstronomer9044 · reddit · 2026-10-17
作者提出，比较两组 RAG 检索配置时，先看平均分容易掩盖关键查询上的回退，应逐查询对比同一查询在两次运行中的表现。
推荐的评审框架把查询分为四组：
- 改善的查询
- 回退的查询
- 两次都失败的查询
- 因参考判定缺失或不完整而无法评估的查询
每个回退项应给出具体证据：期望命中的支撑文档、它在前后两次排序中的位置、是否仍进入上下文窗口。这能帮助团队决定迁移前需要排查什么，但无法证明是哪次代码改动导致回退，也不能证明生产环境其余部分安全。
作者认为最有价值的交付物是一份由可复现的查询级结果支撑的简短决策摘要，且不确定性显式可见。
「编程与Agent」频道最新
- 「话到嘴边」式检索成新难题：Agent 时代检索系统的重要盲区 — bclavie · 2026-10-17
- vLLM 首次由 AI Agent 自主完成模型优化,每步均有明确性能提升 — vllm_project · 2026-10-17
- 仓库上线仅 2.5 天已合并 8639 个 PR,几乎每分钟一个 — ravisparikh · 2026-10-17
- Every 评测负责人：上下文腐烂了就重开线程，七种失效与重启法 — danshipper · 2026-10-17
- 一直说先查 prompt 周边系统，结果这次真是 prompt 的锅 — ClickOk5811 · 2026-10-17
- LEASH 框架：小模型打头阵，成本降 19.2% 媲美全时 Claude Opus 5 — xwang_lk · 2026-10-17