实测 JEV 做 RAG 重排:准确率持平,却拼不过免费本地交叉编码器
ExamImmediate8956 · reddit · 2026-09-28
作者用 144 页《欧盟 AI 法案》(937 个 chunk、18 个可回答 + 3 个不可回答问题)实测 TypeSafe JEV 作为 RAG 重排器的效果:
- 无重排器:17/18 正确,10,278 tokens,8.0s
- 本地交叉编码器:17/18 正确,626 tokens,3.2s,零成本
- JEV:17/18 正确,476 tokens,3.9s,约 $0.0018/查询
有意思的是,JEV 对不可回答的问题会返回空候选集,下游 LLM 消耗 0 tokens——但这部分节省仅约 $0.000074/查询,远抵不上 JEV 本身 $0.0018 的成本。结论:本地交叉编码器几乎免费地干完了同样的活。
作者的更大反思是基线选择对 benchmark 的影响:JEV 对比"全部喂给 LLM"时看起来很惊艳,但对比便宜的本地方案就完全不同,这类评测的基线值得警惕。
「编程与Agent」频道最新
- Harmony 发布企业级 AI Agents:Slack 内处理 IT/HR 工单 — Codeblix_Ltd · 2026-09-28
- 开源 Editable Design 方案：文字真实、图层独立的设计生成工作流 — jiqizhixin · 2026-09-28
- AI 工厂造出 20 个推理引擎,覆盖 7 类模型全由 Agent 编写 — bingxu_ · 2026-09-28
- Pi 官方插件 pi-demo：一句话让 Agent 自动录屏成片 — solyarisoftware · 2026-09-28
- 开发者用 AI Agents 自动找创业点子并跑通整条业务流程 — Ok-Werewolf-7293 · 2026-09-28
- Devin 年花超10万美元用户质疑编码 agent 营收能否持续 — brandon_galang · 2026-09-28