论文提出 RL 预算控制，限制推理强度并节省 token
stochasticchasm · x · 2026-07-28
配图是一段论文内容，标题是 Reasoning Effort RL，核心在讲一种用于强化学习微调的“推理预算控制”机制。
主要方法
- 先用冷启动模型估计每个问题的初始 token 预算。
- 如果轨迹总 token 消耗超过预算，奖励就会被惩罚。
- 通过乘数 \(\tau\) 动态调整预算上限，并采用课程式训练：先用较大的 max budget，再逐步退火到更小的预算，逼出高/低推理强度的专家模型。
- 不同领域会在 human-in-the-loop 指导下单独配置预算策略。
- 最终还会把不同推理层级的轨迹收集起来，用于监督微调和 multi-teacher on-policy 蒸馏。
这项工作的重点
它想解决的不是“模型会不会推理”，而是如何让推理强度可控、token 更高效，避免模型无节制地过度思考。
所属事件:Kimi K3 复现强化学习研究并引入推理预算控制(4 条相关)→
「研究」频道最新
- Goodfire 创始人挑战叠加假说：InceptionV1 多语义性或另有成因 — petrusenko_max · 2026-10-16
- UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多 — arjunrajlab · 2026-10-16
- 实测 11 种提示策略催 LLM 创意：直接要「非显而易见」的点子最有效 — arjunrajlab · 2026-10-16
- 研究者长期实验：什么样的提示词能让 LLM 产出最有意思的点子？ — arjunrajlab · 2026-10-16
- SimpleMark 论文:多比特文本水印可将每 token 失真限制在预算内 — rishabh16_ · 2026-10-16
- 斯坦福新论文:生成式表征学习做 tokenizer,省 7-8 倍训练算力 — HirokatuKataoka · 2026-10-16