新蒸馏法 O³PD：只匹配 token 排序即可提升推理，免调温度
Guangzeng Han · hf · 2026-11-04
Hugging Face 上发布的 Order-Only On-Policy Distillation（O³PD） 提出一种新的蒸馏方式：不再让学生模型匹配教师模型的 token 概率值，而是只匹配其 token 排序（如 A>B>C）。
- 与传统 OPD（匹配概率值）和 SFT（模仿单一选择）相比，O³PD 只需对齐教师偏好顺序
- 在无需温度调节的情况下即可提升学生模型的推理表现
「研究」频道最新
- Intology 推出 Locus:自主微调 Boltz-2 等前沿模型，分子设计超越专家 SOTA — anshulkundaje · 2026-11-04
- 重测 50 项 LLM 经典发现：15 个月内大半失效 — cephaloform · 2026-11-04
- Simon Willison 复现 GPT-6 Astra 直接读权重论文:45 分钟用 Qwen 3.8 27B 达成 — cephaloform · 2026-11-04
- 研究者证明大网络中「好权重」无处不在,最笨优化器也能泛化 — yuxiangw_cs · 2026-11-04
- 用 SHAP 打通潜空间与流场：解耦自编码器的可解释流体研究 — ricardovinuesa · 2026-11-04
- 人类对话轮替中位停顿是 -120ms，语音 AI 的 500ms 还差得很远 — alexisgallagher · 2026-11-04