把训练各阶段拆成任务向量相加，竟然还都符合预期

voooooogel · x · 2026-10-29

讨论多阶段训练(base→midtrain→RLVR)能否拆解为可叠加的权重增量。作者指出:(midtrain-base) 与 (rlvr-midtrain) 都可视为任务向量,理论上各阶段因顺序而相互纠缠——比如 midtrain 是否抑制 reward hacking 会影响 (rlvr-midtrain) 的方向;但实践中这些向量却出人意料地直接相加且表现符合预期,呼应「model merging 的不合理有效性」。由此提出:若想插入新阶段,不必重训完整管线 base→midtrain→newmidtrain→rlvr,而可以直接用 (rlv r+(newmidtrain-base)) 叠加,实验显示效果出奇地好。