RLVR 数据 88% 陷入零优势陷阱，MagicBeanStalk 递归合成破解
stanfordnlp · x · 2026-10-15
arXiv 论文《MagicBeanStalk: Escaling the RLVR Zero Advantage Trap with Recursive Data Synthesis》，作者包括 Ximing Lu、Aviral Kumar、Jan Kautz、Yejin Choi、David Acuna。
- 核心发现：RLVR 的数据中心化扩容只关注收集/生成可验证题目，但语料规模不决定学习信号。实验刻画了数据集有效性如何依赖题目、目标策略与 rollout 预算。
- 零优势陷阱：一个汇集常用 RLVR 数据集的大型开源数学语料中，约 88% 的题目在固定策略和 rollout 预算下要么每次 rollout 都解出、要么每次都失败——对策略无梯度信号。过滤只能选择，无法补足难题。
- 方法：MagicBeanStalk 采用自顶向下分解 + 自底向上递归合成，把种子题目扩展为策略与预算校准过的题目族——难度适中（部分 rollout 成功、部分失败），且包含解出难题所需的推理操作与组合。
「研究」频道最新
- lateinteraction：RLVR 就是 RL，奇怪的其实是 RLHF — lateinteraction · 2026-10-15
- 数学家撰文解读 OpenAI 372 定理冲击:数学前沿是自组织临界沙堆 — littmath · 2026-10-15
- RoPE 长文本失效有理论证明,免训练诊断工具提分最高 25% — zhaofeng_wu · 2026-10-15
- OpenAI 证明引连锁反应，Bhargava 证明原根正密度定理 — Singularitarian · 2026-10-15
- Applied Compute 推出 Spork：国际象棋解题率较 GRPO 提升 100% — ypatil125 · 2026-10-15
- AAAI《AI Magazine》2026 秋季刊上线，收录超 20 篇文章 — FrnkNlsn · 2026-10-15