四种 RAG 重排序器实测对比:Cohere 把答案从第 15 拉到第 1
Affectionate_Slip654 · reddit · 2026-10-14
作者构建了完整的 RAG 重排序流水线(检索 Top 20 → 重排 → Top 5 → LLM 生成),在 5 份支付行业 PDF(PCI DSS、央行报告等,共 1,507 chunks)上实测对比了四种重排序器:本地 Cross-Encoder、LLM 重排、Cohere Rerank 和 Jina Reranker,并给出完整代码与视频讲解。
关键结论:
- 相似 ≠ 相关:向量检索找到的是“话题相近”的 chunk,不一定真正回答问题
- 小型 cross-encoder 可能帮倒忙:它偏向词面匹配,把两个正确答案 chunk 都挤出了 Top 5
- LLM 重排理解语义更好:如识别出「3.3」属于 Requirement 3,把两个答案 chunk 排到第 1、2 位
- Cohere 把一个答案 chunk 从第 15 位拉到第 1,将漏答变为带引用的正确回答
- 本项目中 Cohere 与 Jina 在准确率与速度上平衡最佳,但 API 重排有成本和数据外送第三方的权衡
- 评估方法:对比重排前后位置、Hit@5、平均延迟,且所有重排器必须跑在同一份 Top 20 上才能公平比较
技术栈:Python、Qdrant、gemini-embedding-2-preview(3072 维)、ms-marco-MiniLM-L-6-v2、Cohere/Jina API。代码结构为 retriever.py → rerankers.py → generate.py → compare.py。
「编程与Agent」频道最新
- Codex 自动压缩翻车现场:轻轻转向一次,千万 token 后还在念叨旧指令 — Aryvyo · 2026-10-14
- Agentic 工程与 AI 工程是两回事:Hugo Bowne-Anderson 一图讲清分工 — Al_Grigor · 2026-10-14
- PostHog 给 devtool 厂商的建议:别问怎么加 AI,要问 agent-first 版本是什么 — edwin · 2026-10-14
- Devin SWE-2 跃居 EvalMapBench 第三,43 项细节测试解出 25 项 — silasalberti · 2026-10-14
- MCP 协议月下载近 5 亿次,协议免费但「钥匙」公司吸金 — FinanceYF5 · 2026-10-14
- Gemini 4 Argon + Blender MCP 一把过:纯 3D 文件做出飞龙「动画」,非视频生成 — sidahuj · 2026-10-14