后训练增量可跨模型迁移
tuvllms · x · 2026-07-09
帖子转述一项研究结果：后训练得到的变化可以被压缩成可迁移的 logit delta，并且能跨模型规模和不同模型家族转移。作者举例称，从 1.5B 的 Qwen 提取的 delta 迁移到 Llama-3-8B 后，GSM8K 得分提升了 15%。 帖子还将这一发现与 task arithmetic、Master Key Hypothesis 以及 fine-tuning/alignment transfer 等相关工作联系起来，强调这类转移不一定要求同一模型家族，只需一个简单的词表桥接即可实现 logit grafting。