RLVR 微调致解空间坍缩，加入 replay 缓冲可保多样性并提升 pass@8
manoelribeiro · x · 2026-10-15
研究者系列推文揭示当前 RLVR 微调算法的系统性缺陷，并提出简单修复方案。
- 问题：RLVR 微调让模型解空间坍缩——训练早期遇到的答案被持续强化，形成“赢家通吃”动态，丢失其他解法
- 实证：构建多解问题基准 ModeBench，前沿模型（如 GPT-5.6 Sol）能答对玩具问题，但即使采样 512 次也无法覆盖全部解法，部分域高达 56%-98% 的已验证解法从未被生成；小型 Qwen-Instruct 模型反而比每次都答对的前沿模型拥有更丰富的解题路径
- 方案：为每个“已接受解法”加 replay 缓冲，在探索新解法的同时保留既有解集合（Re:Max、Re:Dr）
- 效果：显著提升解法多样性与 pass@8 准确率，且跨模型家族、规模和 RL 训练目标成立；当某个解法失效（如被下架）时，replay 还能让模型保持推理鲁棒性
所属事件:研究称 RLVR 微调致解空间坍缩，Replay 缓冲可保多样性(2 条相关)→
「研究」频道最新
- DeepPhylo 用深度学习推断系统发育树，摆脱恒定突变率等强假设 — anshulkundaje · 2026-10-15
- Wander 预印本提出图基础模型:随机游走接口统一图预测任务 — mmbronstein · 2026-10-15
- CHI 审稿人观察:AI 垃圾论文泛滥,但好研究依然在出现 — IanArawjo · 2026-10-15
- CMU 基准测试:135 篇 AI 代理科研论文 114 篇未过诚信审查 — arankomatsuzaki · 2026-10-15
- 让 AI 真正从经验中学习:资深从业者给出 8 条不可妥协原则 — tokenbender · 2026-10-15
- Benchling 发布 Science Foundries：智能体蜂群重塑科研工作流 — nlarusstone · 2026-10-15