The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity
Parshin Shojaee, Iman Mirzadeh, Keivan Alizadeh, Maxwell Horton, Samy Bengio, Mehrdad Farajtabar
NeurIPS 2025
cs.AI, cs.CL, cs.LG
2025-06-08
苹果用四个可调复杂度的谜题环境实测前沿推理模型:超过特定复杂度后准确率崩零、思考 token 反而变少,给出算法也救不回来。
苹果团队这篇 NeurIPS 2025 论文盯上推理模型评测的两个盲区。现行评测靠数学和代码 benchmark,只看最终答案对不对:题目可能早混进训练数据,分数虚高;分数也不反映中间过程,判断不了模型是在推理还是模式匹配。另有一个悬案:同等推理算力下,LRM(Large Reasoning Model,先输出长思考再给答案的模型)到底比非思考版强多少。团队先在数学题上复核:同等 token 预算下,Claude 3.7 Sonnet 思考版与非思考版在 MATH-500 上的 pass@k(采样 k 次至少对一次的概率,衡量能力上限)基本重合;到 AIME24 差距拉开,AIME25 拉得更大。人类在 AIME25 的得分其实高于 AIME24,题目未必更难,模型却更差,污染的嫌疑洗不掉。数学题没法控制变量,他们转向可以精确调复杂度的谜题环境。
四个谜题:汉诺塔(最少 2^N-1 步,随规模指数增长)、跳棋换位((N+1)^2-1 步)、过河(约束满足规划)、积木世界(栈重排)。每个谜题配一个模拟器,逐条验证移动是否合法,既判最终答案,也把思考过程里写出的中间解全部抽出来验证,并记录每个解在思考轨迹中的位置和对错。对照组按同骨干成对选:Claude 3.7 Sonnet(思考/非思考)、DeepSeek-R1/V3,另有 o3-mini 和 R1-Distill-Qwen-32B 参与准确率实验。每个复杂度 25 个样本,生成预算 64k token,远超需要,崩塌不是被长度卡死。还有一组把解题伪代码直接放进 prompt,把任务降级成照步骤执行。
准确率呈三段式:低复杂度下非思考模型持平甚至更好,token 还更省;中等复杂度思考模型拉开优势;过了阈值,两类一起崩到零。
| 设置 | 结果 |
| 汉诺塔 N=5(31 步) | Claude 3.7 思考版接近全对 |
| 汉诺塔 N=7-8(约 100-200 步) | 各推理模型开始崩塌 |
| 汉诺塔 N=12 | Claude 3.7 思考版在前 100 步内出首个错 |
| 过河 N=3(11 步解) | 崩塌,合法序列止于第 4 步左右 |
| prompt 里给出完整算法 | 两个谜题崩塌点几乎不变 |
| Blocks World 温度 0 | R1 在 N=4 崩塌,采样推迟到 N=30 |
两个反直觉行为。接近崩塌点时,思考 token 随复杂度不升反降,预算明明还剩很多(o3-mini 最明显,Claude 3.7 思考版最轻)。轨迹分析同样分三段:简单题早早找到正解却继续探索错误分支,overthinking(找到正解后不停手)白烧算力;中等题要先摸过一片错解才到正解;高复杂度下早早锁死一个错解,剩余 token 全耗在原地。温度 0 消融说明崩塌不是采样运气,给算法没用则说明执行逻辑步骤本身就是短板。
思考模型的优势区间有边界,不是万能开关。区间内确有增益;区间外,长链条精确执行和多约束规划上两类模型一起失效。给伪代码都执行不利索,对 agent 开发者是直接提醒:可靠的工具调用踩的是同一块短板。评测方法上,「可控复杂度环境+模拟器逐轨迹验证」这套组合可以搬进内部评测,比刷分更能暴露失效模式。AIME25 那组对照也值得 benchmark 维护者拿去自查。
作者自认三条:谜题只是推理任务很窄的一片,推不到知识密集或开放域;实验主要走黑盒 API,做不了内部机制分析;确定性模拟器的逐步验证,在没有干净模拟器的领域不可迁移。读下来再补两点。崩塌阈值和训练数据熟悉度纠缠,作者也承认过河题大 N 实例可能训练里少见,阈值更多反映分布而非内禀难度;过河题在 N≥6 时最优船容量改变、题目结构跟着变,分析只保留了 N<6 的数据。部分实验用 API 默认温度 1.0,再加上按格式过滤样本,都可能引入偏置。