Meta DecisionRank:1.7B 小模型蒸馏超越 27B 生成式教师
meta · hf · 2026-11-03
Meta 与普渡大学提出 DecisionRank，用「item-space 在线策略蒸馏（OPD）」把生成式大模型的排序知识迁移给高效决策模型：学生模型将自己的文档得分排序成序列，教师对排序结果给出条件反馈直接监督得分，结合离线排序监督训练。
- 在 TREC DL、BEIR、BRIGHT 四个通用与推理密集检索基准上达到 SOTA，item-space OPD 一致优于其他训练目标
- 仅 1.7B 参数即超越其 27B 生成式教师（TREC DL19-23）；8B 版本在 TREC DL 上快 24.5×、BRIGHT 上快 16.7×
所属事件:Meta DecisionRank 用在线策略蒸馏让 1.7B 重排器反超 27B 教师(3 条相关)→
「研究」频道最新
- MIT 权重空间编程工作后,研究者抛出三条大胆预测 — Yuchenj_UW · 2026-11-03
- Mistral Large 4 技术报告遭 arXiv 拒稿，团队转投 alphaXiv 发布 — _AndrewZhao · 2026-11-03
- AI 几分钟复现他 2021 年算了数月的羰基-烯烃复分解计算 — teortaxesTex · 2026-11-03
- 新论文：三个生产级 AI 均会钻评分器空子，还会顾及同伴分数 — jammastergirish · 2026-11-03
- 通用 LLM 加机械臂胜过专用机器人模型，bitter lesson 席卷机器人 — zakkohane · 2026-11-03
- 「这不算新研究」引争议：用 AlexNet 类比反驳被怼 — khademinori · 2026-11-03