开源 RAG 评测工具发布:核心指标免 API key,聚焦召回与忠实度
infrixo · reddit · 2026-11-09
开发者在 Reddit 发布轻量级开源 RAG 评测工具 rag-evaluation-starter(Python),面向不想搭建完整评测平台的开发者,可在本地针对 golden dataset 跑评测。
包含指标:
- 检索 Recall@K
- 回答忠实度与相关性
- 精确匹配与 token F1
- 延迟与成本报告
- 可选 LLM-as-judge
核心指标不需要 API key。作者还分享了一个踩坑点:不可回答的问题如果按完美检索计入会虚高召回率,该工具将其排除在 recall 聚合之外。定位是轻量的即时诊断工具,不替代 Ragas 或 LangSmith。
「编程与Agent」频道最新
- Kamal 部署机制详解:从 SSH 执行到代理请求处理 — js_craft_hq · 2026-11-09
- 同一 DeepSeek 模型加 harness 得分从 2.6 跳到 7.9，代价是 19 倍成本 — AccBalanced · 2026-11-09
- 工程师管不过来 agent 了?他提议让 agent 之间直接通信 — thomasahle · 2026-11-09
- 开发者观点:企业级大型技能库是被低估的超能力 — m4rkmc · 2026-11-09
- GitNexus：把任意 GitHub 仓库变浏览器内交互知识图谱，全程零后端 — JafarNajafov · 2026-11-09
- Better Paseo 插件：把所有 AI Agent 汇总到一个任务看板 — intellectronica · 2026-11-09