论文揭示策略蒸馏并非依赖教师，模型可自我改进
_akhaliq · x · 2026-09-02
- 论文探讨 "On-Policy Distillation" 的实质机制，发现其推理能力提升并非来自有意义的教师指导。
- 研究指出，收益主要源于抑制学生模型采样的低概率 Token。
- 基于此提出 OPSA 方法，这是一种无需教师的改进方案，利用模型自身的不确定性进行自我提升。
所属事件:研究称同策略蒸馏增益源于抑制低概率 token，无需教师(4 条相关)→
「研究」频道最新
- 南洋理工发布具身智能 Affordance 学习综述，系统梳理近 200 篇研究 — jiqizhixin · 2026-10-18
- 14.3M 参数通用决策引擎 vega-U：冷接任意冻结 LLM 最高达 0.811 准确率 — kalyan_kpl · 2026-10-18
- Reddit 用户倡议建开源视频剪辑数据集,破解 LoRA 易崩问题 — Emergency-Shake4529 · 2026-10-18
- 新基准瞄准商业 Deep Research:联网检索+内部工具调用缺评测 — burkov · 2026-10-18
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 百年难题告破:5 页证明「无 Siegel 零点」,新证明正涌来 — Singularitarian · 2026-10-18