RL后训练更新可被稀疏分解
menhguin · x · 2026-07-15
这条转发介绍了一项关于 **RL 后训练（post-training）** 的新研究，核心问题是：RL 更新虽然有效，但参数变化本身像“黑箱”。 论文提出把 RL 中真正有效的“推理部分”看作基模型谱空间里的一个**紧凑重接矩阵**，并据此设计了 **SAR**：一种**无需再训练**的后处理方法，可以把原始 RL 更新投影到这个“推理核心”上，用来更好地**理解、净化和合并** RL 训练后的模型。 文中给出的关键结论包括： - **推理核心非常稀疏**：少于 1% 的谱参数就能恢复，甚至提升完整 RL 的收益。 - **能去噪**：把无关/噪声方向去掉后，模型表现仍可保持或变好。 - **可用于模型合并**：不仅能分析 RL 更新，还能把训练后的改动更干净地融合回模型。