Meta DecisionRank:1.7B 学生模型反超 27B 教师快 24.5 倍
_reachsumit · x · 2026-11-02
Meta 团队发布 DecisionRank 论文，提出面向决策模型重排器的 on-policy 蒸馏方法。
- 决策模型直接预测选项或分数，避免自回归解码延迟，但把生成式 LLM 的排序知识迁移过来很难：教师输出文档 ID 排序列表，学生用首 token 位置打分
- 核心方法 item-space on-policy distillation：把学生的文档分数排成序列作为 rollout，生成式教师对该排序给出条件化反馈，直接监督这些分数
- 在 TREC DL、BEIR、BRIGHT 等通用与推理密集型检索基准上达到 SOTA；四个基准上 item-space OPD 均优于其他训练目标
- 1.7B 参数即在 TREC DL19–23 上超过其 27B 生成式教师；8B 版本在 TREC DL 上快 24.5 倍、BRIGHT 上快 16.7 倍，仍优于 listwise 对应模型
「研究」频道最新
- ReLift:用轨迹修复做稠密3D跟踪，WorldTrack精度登顶且快2.7倍 — Technion · 2026-11-02
- 分析师解读机器人「惊人跃升」：本质是把任务对齐到 LLM 已预训练的技能 — robrombach · 2026-11-02
- 929GB 最大开放 STEM 显微数据集入选 NeurIPS Workshop — charlesxjyang · 2026-11-02
- 自建宇宙「关系优先」模拟：预注册判据下首跑未通过 — tallmetommy · 2026-11-02
- 新论文揭示 RLVR 训练熵崩溃根源：采样器不匹配 — joecole · 2026-11-02
- Karpathy 的 7 个 SOTA 开源仓库:从 micrograd 到 nanochat 的 LLM 修炼路径 — huangyun_122 · 2026-11-02