如何控制大模型推理力度
Ahead of AI (Sebastian Raschka) · rss · 2026-07-18
这篇文章围绕“如何控制 LLM 的 reasoning effort（推理力度）”展开，先回顾 reasoning model 的基本概念，再讨论训练与推理两个层面的扩展方式。 ### 核心观点 - reasoning model 并不等于人类式推理，而是会输出中间推理轨迹、逐步求解的模型。 - 提升推理能力主要有两条路：**训练扩展** 和 **推理时扩展**。 ### 训练层面 - 文章重点回顾了 **RLVR（reinforcement learning with verifiable rewards）**：在可验证任务里，用结果是否正确来给奖励。 - 这里的可验证领域主要是数学和代码，例如用符号计算器、编译器、单元测试来判断对错。 - 文中指出，训练时并不真正依赖中间推理轨迹本身；奖励主要看最终答案和格式。 - 仅靠输出端奖励，模型也可能学会自我纠错、回退和修正，这些现象被称为 **“Aha” moments**。 ### 推理层面 - 推理时可以额外投入算力来提升答案质量，这就是 inference scaling。 - 例子包括 **self-consistency**：同一问题多次采样，再用多数投票选最终答案。 - 这种方法既能用于普通 LLM，也能叠加在 reasoning model 上。 ### 进一步讨论 - 文章提到，许多现代 LLM 都已经在某种意义上成为 reasoning models。 - 还引入了“不同 effort 档位”的概念：通过控制推理强度，让模型在速度、成本和效果之间做权衡。