新研究：蒸馏输出变长源于师生 EOS token 不一致
tw_killian · x · 2026-09-20
UNC、BYU 与 Microsoft 的新论文《When EOS Tokens Disagree》揭示了 on-policy 蒸馏中输出长度膨胀的成因：学生与教师的 EOS（结束符）分布不匹配。学生模型其实已经解出问题，却会浪费大部分 token 预算反复续写。
研究指出，仅对齐解码停止集并不足以解决问题，需要更系统地处理师生 EOS 信号的不一致。
所属事件:研究发现：师生EOS token不一致致蒸馏输出变长(2 条相关)→
「研究」频道最新
- 阿里开源 RADAR:40 万例 CT 训练,达专家级腹部诊断水平 — victormustar · 2026-09-20
- ICLR 2027 收稿破 6 万篇，NeurIPS 因 AI 评审连坐处罚审稿人 — PlisSergey · 2026-09-20
- 单卡 RTX 6000 Pro 训 24 小时：AR+扩散混合图像模型进展曝光 — ostrisai · 2026-09-20
- AI Toolkit 作者周末实验：单卡 24 小时训出 AR+扩散混合图像模型 — ostrisai · 2026-09-20
- 困扰数学界 147 年，Sylvester 猜想被完整证明 — IgorCarron · 2026-09-20
- XGEN 发布生成式世界模拟系统 JING+DAO，登顶 WBench 榜单 — hey_abusiddik · 2026-09-20