新研究：更强的模型未必是更好的蒸馏老师
pappasg69 · x · 2026-10-26
论文《When to Follow the Teacher: Advantage-Based On-Policy Distillation》提出一个反直觉结论：更强的模型并不总是更好的蒸馏老师——关键不只是老师知道什么，而是学生能用上什么。
作者 Adel Javanmard、Mahdi Sabbaghi、Giappas 等提出基于优势（advantage-based）的在策略蒸馏方法，判定学生何时该跟随老师、何时该依赖自身信号，以提升蒸馏效率。
「研究」频道最新
- 从 Bellman 到 GRPO:一张时间线讲清 RL「policy」一词七十年源流 — geoffwolfe · 2026-10-26
- Hugging Face 开源 Carbon-X：14.8B 模型聊天读 DNA，测变异成本仅 frontier 3% — _lewtun · 2026-10-26
- EMNLP 论文：多语言 LLM 隐层「语言归属」随探测方法而变 — ABosselut · 2026-10-26
- Nature 论文：GPT-3 展现涌现式类比推理，多数测试比肩甚至超越人类 — ArtificialOther · 2026-10-26
- 4B 模型 OCRia-1 登顶文档解析：ParseBench 均分 0.87，解码快 2-4 倍 — NielsRogge · 2026-10-26
- 斯坦福博士辍学加入 OpenAI：扩散语言模型 vs 自回归路线之辩 — aaron_lou · 2026-10-26