Re3Rank：0.6B 重排器用推理痕迹做查询，胜过 32B 级基线
_reachsumit · x · 2026-11-04
论文提出 Re3Rank，一个基于「推理条件化检索头」（RRHeads）的 listwise 重排器。
核心方法：生成器先对问题与候选项写一段推理痕迹，打分器再用该痕迹的 token 作为所选 RRHeads 的注意力查询，将相关性读为连续分数；问题本身作为固定查询携带的定位信息有限。作者提出 straight-through estimator 让排序损失穿越离散推理痕迹传播，使生成器与打分器可联合训练。
结果：在 9 个基准上平均超过 11 个基线重排器——4B 版本平均超出最强基线 3.11 NDCG@10，0.6B 版本也能胜过参数量最高 32B 的重排器。
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04