重排器哪些设计没跑通
tomaarsen · x · 2026-07-17
这篇博客最有价值的地方,是把几种没跑通的设计也讲得很清楚:
- Tournament scheduling 反而让指标掉了 27 NDCG;
- First-token readout 的收益上限不高,最多大约 1.6x;
- 如果把一个 listwise 模型硬按 pointwise 来读,会损失掉大部分提升;
- 对 2B 模型来说,真正的瓶颈不是 decode,而是 ViT encoder。
这种“哪些方案失败了、为什么失败”本身很有参考价值。
所属事件:LightOn 推出多模态重排器系列(10 条相关)→
「研究」频道最新
- MaP-WAM 用记忆驱动规划攻克非马尔可夫机器人操作难题 — Sizhe Zhao · 2026-09-11
- 负向自蒸馏:让模型靠避开错误推理学会更好的推理 — Rongcan Pei · 2026-09-11
- DeepMind 等论文:设计文档当真相源,代码改为可抛弃产物 — Roger_M_Taylor · 2026-09-11
- GameWorld 获 ECCV 2026 多模态数字代理研讨会最佳论文亚军 — MikeShou1 · 2026-09-11
- Yann LeCun 在 ECCV 直播开讲世界模型 — Weak_Assistance_5261 · 2026-09-11
- 3D ResNet 论文八年突破 3000 引用,Kinetics 数据集成里程碑 — HirokatuKataoka · 2026-09-11