按 α 插值混合 base 与 RL 权重,找回 RL 微调丢掉的多样性

Perfect_Power815 · reddit · 2026-11-19

作者发现:RL 调优的推理模型 pass@1 更强,但多次采样后 base 模型反而能解出更多题(RL 降低了输出多样性)。他尝试用一个插值旋钮直接平均两个 checkpoint:W = Wbase + α(WRL − Wbase)。

在 Qwen2.5-7B ↔ SimpleRL-Zoo-7B 上、六个数学基准、每题最多 128 次采样的实测结果:

这是个 trade-off 旋钮,不会同时超越两个模型;仅在一个 7B 数学组合上验证。关键坑:混合要在 fp32 下做、存 fp16/fp32——RL 更新只相当于 base 权重的一个 bf16 step,存 bf16 会把更新丢掉。7B 对需约 60GB 内存(仓库有省内存的流式脚本)。论文、代码、项目页均已公开,作者征集在其他模型对上的复现数字。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →