同级模型蒸馏效果如何

maxsloef · x · 2026-07-18

作者在问一个训练/蒸馏问题：如果有两个性能接近的预训练模型，先正常后训练其中一个，再把它的 rollout 用来蒸馏另一个，后者的性能能逼近到什么程度。他把这类设定类比为某些模型间的关系，想验证“从接近的同侪而不是更强教师那里蒸馏”是否仍然有效，以及最终能接近到什么水平。