研究揭示 EOS token 失配致在线蒸馏输出膨胀

UNC、BYU 与 Microsoft 的论文《When EOS Tokens Disagree》系统分析了在线策略蒸馏（OPD）中的「长度膨胀」现象：师生模型的 EOS 终止 token 不匹配，导致学生模型即便已答对仍继续生成冗余内容。典型案例中，某 Qwen3 rollout 仅用 1,094 个 token 得出正确答案后，又多生成了 7,098 个冗余 token，论文并提出了相应修复方案。

2026-09-18 ~ 2026-09-20 · 3 条相关

• EOS token 不一致导致在线蒸馏回答变长，HF 论文提出修复方案 — Yuxiao Yang · 2026-09-18
• 新研究：蒸馏输出变长源于师生 EOS token 不一致 — tw_killian · 2026-09-20
• EOS token 失配致 OPD 蒸馏长度膨胀：一个 Qwen3 rollout 答对后多生成 7098 冗余 token — tw_killian · 2026-09-20