谱子空间重连提升推理与合并
Zhilong Zhang · hf · 2026-07-17
### 论文要点 这篇工作提出 **SAR（Subspace-Aligned Rewiring）**，试图解决大模型后训练中的两个问题： - **推理性能被抑制**：常见的全参数更新会让测试时扩展收益提前饱和。 - **多领域训练/模型合并互相干扰**：不同能力混合时，更新方向会彼此冲突。 ### 方法 作者发现，真正对推理有效的更新，主要集中在基座模型的**谱空间**中。SAR 作为一种**训练后编辑**方法，保留这部分“谱核心”，并移除正交方向上的干扰成分，从而在不重新训练的情况下恢复和强化有效能力。 ### 结果 - 在多个模型家族和规模上，SAR 只需约 **0.58%** 的总参数就能提取紧凑的推理核心。 - 能**保留超过 99%** 的后训练性能。 - 在数学推理中提升高阶探索能力。 - 还能推广到 **agentic coding**：在自建模型上，7 个开放基准里提升了 6 个。 - 对混合领域训练，SAR 可以释放被压制的编程能力，同时保持数学推理和指令跟随。 - 在模型合并上，它能带来更好的跨域泛化，超过此前合并基线，甚至优于最佳单域专家。