When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models
Jaejun Shim, HyunJin Kim, Young Jin Kim, JinYeong Bak
cs.AI, cs.LG
2026-09-17
针对简单题想太多、难题想不够的问题,用离线参考正确率和长度给混合推理做奖励整形,AIME24 Pass@3从46.0%升到56.0%,token少27.9%。
大推理模型(LRM)有一套稳定的浪费方式:简单题写一长串没用的中间步骤,难题又提前停。现有办法要么给所有轨迹加统一长度惩罚,要么用硬路由在「想」和「不想」之间切换。省下来的 token 经常来自把难题也砍短,论文把这种代价叫「效率税」。
AIME24 上,压缩方法 LC-R1 相对 R1-Distill-Qwen 把平均 token 从 14195 压到 7972,Pass@3 从 46.0% 掉到 36.0%。路由方法 AdaptThink 更省(5806 token),准确率仍低于基座(44.7%)。模型不是不会算,是计算按错了题。
When2Think 是挂在混合推理策略上的后训练奖励整形。每条轨迹开头先选 Think 或 NoThink:Think 走完整推理直到结束符,NoThink 直接给答案。训练沿用 AdaptThink 的重要性采样,探索策略把模式 token 均匀抽,后续 token 仍由当前策略生成,优化时再按重要性权重拉回来,避免一开始就塌进 Think。
核心是 Instance-level Difficulty-Aware Control(IDAC)。每个训练 epoch 开始前,参考策略对每道题离线滚 K 条轨迹,缓存两样统计:参考正确率 α 当难度代理,平均长度 τ 当这道题的 token 预算。在线奖励只在答案对的时候发效率奖金,奖金随轨迹长度相对 τ、再乘上 α 做指数衰减。容易题 α 高,同样长度衰减更狠,模型被推向 NoThink;难题 α 低,允许把推理拉长。答错没有效率奖金,「又短又错」拿不到便宜。
没有学 critic,训练步里也不查参考模型。奖励减去该题的 α 当基线,再在 batch 里按轨迹下标做标准化(BWS),一条轨迹的所有 token 共享这个 advantage,用 PPO 风格的 clipped surrogate 更新。
骨干是 DeepSeek-R1 蒸馏到 Qwen2.5-Math 的 1.5B,数据是 DeepScaleR 约 4 万道可验证数学题。评测用 Pass@3,五次独立运行取均值。
| 方法 | AIME24 Pass@3 | AIME24 token | AIME25 Pass@3 |
| R1-Distill-Qwen | 46.0% | 14195 | 32.0% |
| LC-R1 | 36.0% | 7972 | 32.0% |
| AdaptThink | 44.7% | 5806 | 30.7% |
| DeepScaleR-Preview | 58.0% | 8473 | 39.3% |
| When2Think | 56.0% | 10236 | 40.0% |
相对基座,AIME24 Pass@3 升 10.0 个点,token 少 27.9%;AIME25 到 40.0%。MATH-500 Level 1 平均 token 从 1199 降到 619,准确率 95.8%;Level 5 从 6830 token 降到 4554,准确率 70.7%,和基座的 71.0% 基本持平。Think 比例随难度从约 0.2 升到超过 0.7。GSM-Plus 这类被扰动过的题,它反而多花 462 token,Pass@3 升 6.3 个点到 85.7%。
去掉重要性采样、只留 IDAC 和 BWS,AIME24 还能到 57.3%,但 GSM-Plus 平均 token 从 1052 涨回 1652。IS 主要负责把简单题推向 NoThink,准确率增益来自 IDAC 和 BWS。
对已经在用 R1 蒸馏小模型做数学推理的人,这条路径不换架构:离线滚一遍参考统计,再用可验证奖励学「这题值不值得想、想多深」。效率问题被改写成按实例分配计算,不再把「把思维链压短」当成目标本身。
这是 1.5B 上的渐进控制,不是新推理范式。同数据训练的 DeepScaleR-Preview 在 AIME24 上 58.0%、8473 token,比 When2Think 更准也更短;When2Think 的差别在难例不掉点的同时,简单例明显变短。作者也写了,大模型本身已经比较会分配计算,效率税在小模型上更刺眼。7B 表里 AIME24 Pass@3 相对同尺寸 R1-Distill 升 8.7 个点,但难题 token 不降反升,和 1.5B 的故事并不完全一样。
作者承认两点。奖励依赖答案可验证,开放式任务要另接奖励模型或人工。难度来自离线参考统计,题难度含糊时 α 和 τ 会漂。
实验主分析钉在 1.5B,7B 数字几乎没在正文展开。参考策略每 epoch 预计算有额外成本,论文没报这笔开销占训练多少。评测集和 DeepScaleR 都来自竞赛数学,AIME 部分年份可能和训练源重叠,泛化边界不清楚。DeepScaleR-Preview 同数据更强,说明普通 RFT 也能学到一部分分配,IDAC 不是唯一解。