蒸馏是否被高估了
eliebakouch · x · 2026-07-11
有人指出，自己最近越来越怀疑：**蒸馏在预训练里的重要性可能被高估了**，尤其是在算力效率之外、对能力本身的影响上。评论里提到一个对比：**Sonnet 5** 与 **GLM 5.2** 的表现，认为前者并不比后者更强，甚至可能更差，从而反驳“蒸馏会显著带来竞争优势”的直觉。 核心观点是：蒸馏更多像是给强化学习做 warm start 的手段。美国前沿实验室可能用人类数据来完成同样的起步，而中国实验室则常用来自美国模型的 token；在作者看来，最终得到的模型大致可以接近，只是前者更省算力、后者更依赖额外的人类数据。