研究称多阶段训练可拆解为可叠加的任务向量

有研究提出理解 LLM 训练流程的简洁直觉：理想训练顺序为 base 到 midtrain 再到 RLVR，每一步都是对权重的增量修改。作者指出 (midtrain − base) 与 (rlvr − midtrain) 都可视为任务向量，将各阶段的权重增量相加后结果仍符合预期，甚至理论上中间阶段可以省略，即 final = base + (rlvr − base)。这为多阶段训练的可拆解性与可组合性提供了新视角。

2026-10-29 ~ 2026-10-29 · 2 条相关

• 把训练各阶段拆成任务向量相加，竟然还都符合预期 — voooooogel · 2026-10-29
• 训练直觉：final = base + (rlvr − base)，中间阶段理论上可省 — voooooogel · 2026-10-29