Lychee-Reranker 论文：查询文档解耦的快速重排器，最大 4B 参数
tomaarsen · x · 2026-10-30
tomaarsen 推荐 Lychee-Reranker 论文（arXiv 2606.22807，Xinping Zhao 团队），并总结其训练方法：结合监督微调、两条蒸馏分支与 model soup（对各 checkpoint 取平均得到最终模型）。
论文要点：
- FBNL 架构：fast but not late-interaction，将查询与文档计算解耦，同时保留细粒度相关性建模。
- 设计：encoder-decoder 结构，用 Matryoshka embedding pooling 离线预编码文档；decoder 结合系统/用户指令与查询意图，cross-attention 捕捉查询上下文与文档表示的细粒度相关性。
- 四大优势：离线文档编码带来效率、cross-attention 带来表达力、Matryoshka pooling 带来紧凑性、可调计算预算实现 test-time compute 权衡。
- 三个规模：Nano/Small/Large 分别 0.27B/1B/4B 激活参数；在 BEIR、MIRACL、LMEB 上表现强劲。
「研究」频道最新
- 物理学者质疑 OpenAI Navier-Stokes 解：脱离真实物理、毫无物理意义 — GaryMarcus · 2026-10-30
- ELLIS x UniReps 讲座：不同学习过程为何收敛出相似表征 — ClementineDomi6 · 2026-10-30
- Anthropic 论文:0.1% 预训练投毒即可给 Agent 埋下远程执行后门 — omarsar0 · 2026-10-30
- CopeNLU 团队在 EMNLP 2026 发布 7 篇论文，聚焦偏见与可解释性 — IAugenstein · 2026-10-30
- 两阶段 3D ResNet 从 MRI 筛查新生儿脑病，AUC 达 0.919 — Dr_Alex_Crimi · 2026-10-30
- 40 年神经元移植为何进展缓慢?帕金森细胞疗法能否被 AI 加速 — patrickmineault · 2026-10-30