小模型后训练增量可移植到大模型

tuvllms · x · 2026-07-09

这条帖子介绍了一篇新论文：可以把小模型经过后训练后的参数增量，直接 graft 到更大的模型上，而不需要重新训练大模型。作者表示，在一些设置下，这种 graft 后的大模型甚至能超过作为“导师”的小模型，体现出一种在推理时实现的 weak-to-strong generalization。