轻量重排器训练仍有空间
tomaarsen · x · 2026-07-17
这篇博客补充了几个关键点：
- 训练只用了 213K 个训练组，且只跑了 single epoch；作者认为相比用数百万样本、或从更大 teacher 蒸馏的方法，仍然留有明显上限。
- 训练数据是 英文，但模型在 ViDoRe V3 上的法语表现并没有掉，反而在三个领域里甚至超过英文。
- 作者还坦诚列出了几项“没做成”的尝试：
- tournament scheduling 让指标下降 27 NDCG；
- first-token readout 的收益被限制在大约 1.6x；
- 把 listwise 模型按 pointwise 方式读入，会损失大部分提升；
- 对 2B 版本来说，最慢的不是解码，而是 ViT encoder。
所属事件:LightOn 推出多模态重排器系列(10 条相关)→
「研究」频道最新
- gdb 宣布 AI 辅助拿下数学、复杂性理论与量子场论三项科学发现 — gdb · 2026-10-27
- 学术圈观察:AI 一边制造论文垃圾,一边清理人类遗留的学术垃圾 — _akpiper · 2026-10-27
- OpenAI 宣布三项科学新成果：涵盖数学、复杂度理论与量子场论 — thesaraharminta · 2026-10-27
- CMU 等团队提出「epiplexity」:为计算受限智能体重定义信息量 — davidmanheim · 2026-10-27
- 4 个 Gemini 智能体自助协作 27 小时通关 Minecraft — rohanpaul_ai · 2026-10-27
- OpenAI 发布 PDF 声称反驳指数时间假说:3SAT 或可近亚指数求解 — rrwilliams · 2026-10-27