RL 只是重排推理策略而非扩边界：新论文给出理论与 scaling 律
burny_tech · x · 2026-10-28
- 一项针对 Qwen 与 Gemma 模型家族的研究重新审视「RL 是否扩展 LLM 推理边界」这一争议：训练数学可带来跨域提升，但 Pass@1 提高的同时 Pass@N 可能低于基座模型。
- 作者对 RL 前后的解题轨迹做详细分析，发现模型是在改变推理策略的选择分布，据此提出两阶段自回归策略模型，把「策略选择」与「具体执行」分离，并证明 RL 的隐式偏好如何重塑策略偏好——提升部分任务的同时抑制其他任务所需的策略。
- 该机制解释了跨域迁移与遗忘、给定采样预算下覆盖率的扩大或缩小；论文还给出了 log-sigmoid 与 log-linear 两种 RL 算力 scaling 律的理论依据和实证检验。
所属事件:伯克利新论文称强化学习仅重排推理策略而非扩展边界(3 条相关)→
「研究」频道最新
- 小红书联合复旦提出 DR-Rubric，用 agent 生成评分细则作 RL 奖励 — jiqizhixin · 2026-10-28
- Goertzel 力挺 AI 审稿：称其已强于人类评审但更难纠偏 — bengoertzel · 2026-10-28
- 开发者入选 DeepMind 抗引力科学计划，称 Gemini Argon 达生物医学 AI 前沿 — DeryaTR_ · 2026-10-28
- PDRVLA 用物理动力学表征刷新 LIBERO 等四大机器人基准 — Hanqing Wang · 2026-10-28
- 港科大论文：策略暗藏 harness 偏好，部署收益=harness 上限-策略失配 — HKUSTGZ · 2026-10-28
- 阿里达摩院发布跨本体世界模型 RynnWorld-Latent：553.5M 帧联合预训练 — Alibaba-DAMO-Academy · 2026-10-28