无法回答的问题会虚高 Recall@K，开发者开源 RAG 评测工具纠正指标偏差
infrixo · reddit · 2026-10-31
作者在审查 RAG 评测数据集时发现一个指标陷阱：如果问题本身没有相关文档，把它算作完美检索结果会虚高 Recall@K。
- 在一个 8 题的小样本中：朴素平均 Recall@K 为 0.75，剔除无法回答的问题后降至 0.714——检索器没变好，只是测量在误导。
- 作者维护了一个开源的 RAG 评测起步项目 rag-evaluation-starter，包含检索指标、答案评估和可选的 LLM judge，核心指标无需 API key 即可运行。
- 作者也在征求社区意见：如何处理评测集中不可回答的问题，是否应从检索召回中剔除并单独评估。
「编程与Agent」频道最新
- App Store Connect CLI 6.2.0 发布:原生支持企业 API 密钥 — rudrank · 2026-10-31
- App Store Connect CLI 6.2.0 发布，GitHub 获 8.1k 星支持企业 API 密钥 — rudrank · 2026-10-31
- Manus 工程师同时跑 10-20 个 AI 请求，自述「用 Manus 重建 Manus」 — dotey · 2026-10-31
- 5 天用 Claude 搭出浏览器飞行游戏:真实地形、实时天气、数万机场 — eeenmachine · 2026-10-31
- 30 个 agent 一天烧掉 9.67 亿 Grok token,作者晒用量截图 — r0ck3t23 · 2026-10-31
- Chrome 157 新增 HTML-in-Canvas：真实网页可画进 canvas 做特效 — dotey · 2026-10-31