四款 RAG 重排器实测:小 Cross-Encoder 反而把正确答案挤出 Top 5
Affectionate_Slip654 · reddit · 2026-10-26
作者构建完整 RAG 重排序流水线,在 5 份支付行业 PDF(1507 个 chunk)上对比 Cross-Encoder、LLM-based、Cohere、Jina 四种重排器,用 Hit@5 与延迟等指标评估。
核心结论
- 相似度 ≠ 相关性:向量检索只找到“关于该主题”的 chunk,强重排器才挑出真正回答问题的 chunk。
- 本地小型 cross-encoder 可能更糟:偏好词面匹配、对 PDF 乱序文本不鲁棒,实测把两个正确答案 chunk 挤出 Top 5。
- LLM 重排器理解上下文(如知道 "3.3" 属于 Requirement 3),将两个答案 chunk 排到第 1、2 位。
- Cohere 表现亮眼:把第 15 位的答案 chunk 提升到第 1 位,将完全漏掉的答案变成可引用的正确回答。
- 综合最优:Cohere 与 Jina 在精度与速度间平衡最好,代价是每次调用费用及文档需发给第三方。
- 方法论:所有重排器在同一 Top 20 上评测,保证差异只来自重排器本身。
技术栈:Python、Qdrant、gemini-embedding、Hugging Face Transformers、Cohere/Jina API。代码与视频教程均已开源。
「编程与Agent」频道最新
- 工具调用成功≠决策正确:agent 可靠性该怎么评估 — djgoel123 · 2026-10-26
- OpenClaw 发布 v2026.10.7:61 个 PR、54 位贡献者 — heyneighbor · 2026-10-26
- TokenSpeed 三层三种语言:C++ 保正确、Rust 提性能、Python 粘合 — zhyncs42 · 2026-10-26
- IBM 开源 MCP 网关 ContextForge:统一接入 MCP/A2A/REST API — tristanbob · 2026-10-26
- Opus 5.5 编排 Sonnet 子代理,high 档反而比 Opus medium 更贵 — Odd-Shift-640 · 2026-10-26
- 10 个给 AI Agent 加聊天界面的开源项目,星数一览 — victor_explore · 2026-10-26