新论文：RL 不扩推理边界，只是重加权模型既有策略空间
burny_tech · x · 2026-10-28
arXiv 论文《How RL Reshapes LLM Reasoning: Transferability, Coverage, and Scaling Laws》(Ziheng Cheng、Somayeh Sojoudi 等)系统回答了 RL 到底是扩展还是只是重排 LLM 的推理能力。
核心发现：
- 在 Qwen 和 Gemma 两个模型家族上复现了矛盾现象：数学 RL 训练能带来跨域提升，但 Pass@1 提升的同时 Pass@N 可能反而低于基座模型；大采样预算下的覆盖(coverage)有的任务升、有的降。
- 对 RL 前后解题轨迹的分析表明，变化主要来自模型采用推理策略的转移，而非新策略的涌现。
理论框架：
- 提出一个两阶段自回归策略模型，把「策略选择」与「具体执行」分开，证明 RL 的隐式偏好会重塑策略选择概率——某些任务受益的同时会抑制其他任务所需的策略。
- 该机制解释了跨域迁移与遗忘、以及固定采样预算下覆盖的扩大或收窄，即使策略支持集并未扩张。
- 给出 RL 算力的 log-sigmoid 与 log-linear 两种 scaling law 的理论依据，并用实验验证其预测能力。
所属事件:伯克利新论文称强化学习仅重排推理策略而非扩展边界(3 条相关)→
「模型」频道最新
- DiffuSpace 首发开源扩散语言模型 Clover-35B-A3B，128K 上下文 — jacek2023 · 2026-10-28
- Claude 宪法新条款:训练环境有 bug 时钻空子是可接受行为 — amplifiedamp · 2026-10-28
- Grok 4.7 包揽 VulcanBench v4 前三名,超 Opus 5.5 与 Sonnet 5.5 — XFreeze · 2026-10-28
- 传闻汇总：OpenAI/Anthropic 内部模型靠游戏与模拟环境 RL 实现推理跃升 — imjustnewatai · 2026-10-28
- 用户吐槽：ChatGPT 回答总以「One question:」收尾 — Angaisb_ · 2026-10-28
- 社区建言 Gemma 未来版：强化多语言、手写 OCR 与减少拒答 — MaziyarPanahi · 2026-10-28