ModeBench 揭示 RLVR 让 LLM 只会一种解法，Re:Max 训练法可保解法多样性
manoelribeiro · x · 2026-10-15
Manoel Ribeiro 团队（Liv Daliberti 领衔，合作者包括 Marwa Abdulhai、Peter Henderson 等）发布 ModeBench 基准与 Re:Max 训练方法，研究 LLM 的解法多样性问题：
- 核心发现：引用数学家 George Pólya「一道题五种解法胜过五道题一种解法」，但 RLVR（可验证奖励的强化学习）恰恰相反——训练会推动模型收敛到每个问题的单一解法。以图着色为例，Dr.GRPO 训练让 Qwen2.5-3B 的 32 个采样逐渐被单一解法占据，而 Re:Max 能同时提升正确率与解法多样性。
- ModeBench 基准：覆盖图着色、Countdown、可执行 Python、代数、约束优化五个领域，共 72 个数据切分、15552 行数据，用可执行验证器同时判定正确性与「解法模式」唯一性；评测可在 CPU 上运行，无需 PyTorch/CUDA。
- Re:Max / Re:Dr 方法：通过重放（replay）让模型/目标在解空间变化时保持推理鲁棒性，如原解法失效或被移除时仍能输出其他正确解。
数据集与 Re:Max 实现均已开源（Apache-2.0）。项目负责人 Liv Daliberti 正在找实习。
所属事件:研究称 RLVR 微调致解空间坍缩，Replay 缓冲可保多样性(2 条相关)→
「模型」频道最新
- Apollo 首见：GLM 会在推理时自发权衡行为对未来训练的影响 — MariusHobbhahn · 2026-10-15
- 网友实测 Gemini 4 argon 对比 Opus 5.5:3 分钟 3 美元 vs 25 分钟 8 美元 — zacharynado · 2026-10-15
- SentinelOne:OpenAI 8小时完成顶级研究员4-6周逆向工程 — OpenAI · 2026-10-15
- 关闭推理后 Qwen3.8 27B 加法正确率仅 23.57%，开启推理达 167/169 — dl_weekly · 2026-10-15
- 把嵌入模型 EmbeddingGemma 2 改造成语音双向模型 — kastnerkyle · 2026-10-15
- 爆料：合作伙伴已拿到 Claude Fable 5.5 内测，或下周发布 — lyraxana · 2026-10-15