无logits蒸馏也可行

willdepue · x · 2026-07-17

作者补充说，**不使用 logits 做蒸馏**其实也能正常工作，只是效率会略差一点。\n\n他还提到，这个方向已经有不少相关论文。