KAUST 论文揭示「思维泄漏」:无思考模式 RL 增益只是旧能力回放

kaust-generative-ai · hf · 2026-10-15

KAUST 与上海交大团队研究 Qwen3 系列混合推理模型的 NO-THINK 模式强化学习训练:

流行做法是在 NO-THINK 模式下做 RL(如 GRPO)并报告推理性能提升,但作者发现大部分增益来自 thinking leakage:即部分重新激活模型原有 THINK 模式的推理能力,而非学到新能力。
对 Qwen3-1.7B/4B/8B 训练显示:随着准确率提升,响应变长变反思,越来越像原模型 THINK 模式的产物,内部激活也向 THINK 模式偏移。
权重/激活/注意力头层面分析:继续加大 RL 更新可逼近但不超越 THINK 模式准确率;在 Qwen3-8B 上,将 RL 模型的低维 THINK 相关激活子空间替换回原模型取值即可消除大部分 RL 增益,反向交换则可将相当比例增益迁移给原模型。

结论:NO-THINK 模式 RL 并未创造新推理能力,只是让已有思考能力「漏」出来。

「模型」频道最新