kapa.ai 实测 Jev 做重排:以 0.003 之差惜败 Voyage rerank-3,胜过 Cohere 与 Qwen
srnsnemil · reddit · 2026-10-20
kapa.ai(YC S23)每月处理数百万检索查询,他们在自建的 Company Knowledge Bench(1000 个来自真实生产查询的测试用例,知识库含产品文档、Slack、工单、代码等)上对比了多款 reranker。
测试设置:GPT-6 Luna 将查询拆成 3 个子查询 → 混合检索各取 top 30 → RRF 合并取 top 50 → 交给各 reranker,按 top 10 是否满足标注标准打分。Jev 并非专门的 reranker,而是通用决策模型,作者测试了两种用法:二分类 Noul(按 yes 概率排序)和分级 Score(1–10 相关度)。
结论
- Jev 1.14 以 0.003 之差位居第二,击败所有 Cohere 与 Qwen3-Reranker-8B
- Voyage rerank-3 仍是第一,且同时是最便宜、最快的
- 与 turbopuffer(Jev 夺冠)和 DevX Labs(仅排第 12)的结果均不一致,说明 reranker 排名高度依赖领域
该 benchmark 针对真实企业知识(过期页面、矛盾事实、多解法查询),比学术基准更贴近生产流量。
所属事件:实测 Jev 模型重排能力：惜败 Voyage 却胜过 Cohere 与 Qwen(2 条相关)→
「模型」频道最新
- 用户算账：每日额度仅约 7 亿 token，下午就得手动重置，28 天活动被指是续命手段 — yangyi · 2026-10-23
- 爆料称 Anthropic 正训练对标 OpenAI 内部模型的新模型 — imjustnewatai · 2026-10-23
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23