前沿模型有推理轨迹后，蒸馏还能把能力推多远

Any-Conference1005 · reddit · 2026-07-28

这条帖在讨论蒸馏还能把模型能力推到多远：如今前沿模型会产出推理轨迹、logits、tokenizer 等可供学生模型训练的信号，理论上让“更强的蒸馏”变得更可行。

帖子本身没有给出实验结果，而是抛出一个核心问题：蒸馏对哪些参数规模最有效、能带来多大提升，以及在算力充足的情况下，训练者究竟还能从教师信号里榨出多少增益。