Researchers Debate LLM Reasoning Limits as RELIC Framework Exposes Failures

近期 Quanta Magazine 发表长文，深入探讨了大型推理模型（LRM）的“推理”能力本质，引发学界对大模型能否真正推理的广泛探讨。纽约大学语言学教授 Tal Linzen 结合近期研究指出，当前语境下的“推理”常被等同于“精确执行算法”，但基于 Transformer 架构的语言模型在思维链中无法真正做到这一点，其更合理的使用方式是作为 Agent 去调用外部工具。

已确认

• 研究者提出了名为 RELIC 的评估框架，通过让模型判断字符串是否属于上下文无关文法（CFL）来测试其复杂推理能力。该框架可通过调整文法大小和字符串长度精确控制任务难度。
• 实验发现，即使是最先进的推理模型在 RELIC 上表现也很差。随着任务复杂度增加，模型不仅准确率下降，还会放弃推理开始“瞎猜”。
• 苹果团队此前的研究也表明，科学界对 AI 内部工作机制的定论依然充满争议，尽管 OpenAI 的模型已能解决著名的数学开放问题，但模型本身的推理机制仍受质疑。

为什么重要

• 这些探讨与实验结果揭示了当前大模型在复杂任务中的脆弱性，打破了外界对 LRM 具备类人逻辑推理能力的盲目乐观。
• 明确模型“精确执行算法”的局限性，有助于业界调整研发与应用方向，例如转向 Agent 架构，将模型的能力边界与实际工程需求更好地结合。

2026-08-03 ~ 2026-08-05 · 6 related posts

• [source] Is AI Reasoning Right for the Wrong Reasons? Quanta Magazine Explores — rao2z · 2026-08-03
• Quanta Magazine Dives into the Current State of Large Reasoning Models — rao2z · 2026-08-04
• NYU Professor: LLMs Can't Execute Algorithms Exactly, But Can Act as Agents to Call Tools — tallinzen · 2026-08-05
• Tal Linzen: LLM 'Reasoning' Means Following Algorithms, Which Fails as Complexity Rises — tallinzen · 2026-08-05
• [source] RELIC Framework Tests LLM Reasoning: Models Resort to Guessing as Complexity Rises — tallinzen · 2026-08-05

1 near-duplicate retellings: tallinzen