按 α 插值混合 base 与 RL 权重,找回 RL 微调丢掉的多样性
Perfect_Power815 · reddit · 2026-11-19
作者发现:RL 调优的推理模型 pass@1 更强,但多次采样后 base 模型反而能解出更多题(RL 降低了输出多样性)。他尝试用一个插值旋钮直接平均两个 checkpoint:W = Wbase + α(WRL − Wbase)。
在 Qwen2.5-7B ↔ SimpleRL-Zoo-7B 上、六个数学基准、每题最多 128 次采样的实测结果:
- α=0.25:best-of-128 覆盖率与 base 持平,同时保留 RL pass@1 增益的 64–80%,且比纯 RL 少 2.3–7.1 倍采样即达 RL 的 best-of-128 水平。
- α=0.75:pass@1 与 RL 相当,大 k 时略好。
- 若只用多数投票无验证器,建议直接用 RL 或 α=0.75。
这是个 trade-off 旋钮,不会同时超越两个模型;仅在一个 7B 数学组合上验证。关键坑:混合要在 fp32 下做、存 fp16/fp32——RL 更新只相当于 base 权重的一个 bf16 step,存 bf16 会把更新丢掉。7B 对需约 60GB 内存(仓库有省内存的流式脚本)。论文、代码、项目页均已公开,作者征集在其他模型对上的复现数字。
「模型」频道最新
- Niels Rogge 感叹 Google 境况:模型对标 Opus,还握有 13.7% Anthropic 股份 — NielsRogge · 2026-11-19
- Grok Bot 测试聊天内直接订餐厅:一张卡片完成预订 — XFreeze · 2026-11-19
- 腾讯混元 Hy4 flash 开源:12B 激活参数、1M 上下文,首日用量破 50 万亿 token — HeyAmit_ · 2026-11-19
- Gemini Neon 实测:同一模型调三档思考强度,低中高都是好模型 — intellectronica · 2026-11-19
- Vercel 数据:Anthropic 闭源模型支出份额升至 65% — cramforce · 2026-11-19
- 腾讯混元 Hy4 flash 开源实测:0.07 美元/百万 token 跑通数据分析到演示文稿 — JaynitMakwana · 2026-11-19