UC Berkeley 论文：RL 是重加权而非扩展 LLM 推理边界
burny_tech · x · 2026-10-27
UC Berkeley 论文《How RL Reshapes LLM Reasoning》回答了一个关键问题：强化学习究竟教会了 LLM 新的推理技能，还是只是重新加权已有技能？
核心发现：
- 跨 Qwen 与 Gemma 模型家族复现：RL 带来跨域收益的同时也伴随遗忘，Pass@1 提升可能与 Pass@N 下降并存。
- RL 主要改变模型偏好的推理策略：在 Qwen3-14B 上，RL 使推理策略多样性减少 18%，但 BoxNet 的 Pass@1024 从 34% 升至 51%——更少的策略反而覆盖更多问题。
- 作者提出两阶段自回归策略模型，将「策略选择」与「具体执行」分离，并证明 RL 的隐式偏置如何重塑策略偏好：在部分任务上涨分的同时压制其他任务所需的策略。
- 还给出了 RL 计算量的 log-sigmoid 与 log-linear scaling law 的理论证明与预测力验证。
结论：RL 未必扩展推理边界，更多是在既有策略空间内做偏好重加权，这解释了此前研究中相互矛盾的证据。
「模型」频道最新
- 博主爆料:xAI 明日公告大概率是 Index 而非 Fable 5.5 — ChrisGPT · 2026-10-27
- AMD 携 vLLM 团队开源 d3-ultra:27B 多模态决策模型,Jev 决策榜第 2 — vllm_project · 2026-10-27
- 开源网关实测:Claude 与 Gemini 3 的推理链是加密签名的 — respan-81 · 2026-10-27
- 传 Gemini 4 Argon 在新 CS 研究 benchmark 上击败 GPT-6 Astra — Saboo_Shubham_ · 2026-10-27
- LlamaIndex 发布 OCRia-1:4B 文档解析模型刷新多项 SOTA — llama_index · 2026-10-27
- 百度开源 Unlimited OCR 2：任意长文档解析，延迟近乎恒定 — Baidu_Inc · 2026-10-27