DecisionRank：1.7B 参数重排器超越 27B 生成式教师，快 24.5 倍
kalyan_kpl · x · 2026-11-02
DecisionRank 提出用条目空间 on-policy 蒸馏（OPD）训练决策模型重排器：将学生模型打出的文档分数排序成序列，由生成式教师对该排序列表提供条件反馈，直接监督这些分数。
实验结果：
- 在 TREC DL、BEIR、BRIGHT 等通用与推理密集检索基准上达到 SoTA
- 四个基准上，条目空间 OPD 一致优于其他训练目标
- 仅 1.7B 参数即在 TREC DL19–23 上超过其 27B 生成式教师
- 8B 版本优于生成式 listwise 对应方法，同时在 TREC DL 上快 24.5 倍、BRIGHT 上快 16.7 倍
所属事件:Meta DecisionRank 用在线策略蒸馏让 1.7B 重排器反超 27B 教师(3 条相关)→
「研究」频道最新
- 3D 世界模拟器亮相:显式 3D 表示支持长程滚动与组合式场景控制 — Scobleizer · 2026-11-03
- Goertzel 泼冷水：被改网络比分析网络小万倍，RSI 之路未明 — bengoertzel · 2026-11-03
- 提出 TTCA 指标与 LAAR 路由,衡量长文本任务从首次尝试到首个正确答案耗时 — burkov · 2026-11-03
- 微软开源 Anaximander:在 QGIS 里统一跑任意地理空间深度学习模型 — anselm · 2026-11-03
- 实测权重空间编程任务索引：开源模型普遍难以完成 — khademinori · 2026-11-03
- 清华伯克利开源 uni-robot-agent，Qwen3.8-Flash 零样本超越 GPT-6 — Jiarui Yuan · 2026-11-03