把 LLM 理解为「启发式算法袋子」：局部规则组合出通用推理

xuanalogue · x · 2026-09-27

作者对 LLM 的本质提出一个 CS 视角的隐喻：与其说 LLM 是「概率数据库」（暗示过度记忆化），不如说是「有限电路上的核平滑 / 通用算法的命题式近似」——足以支撑有限的抽象与推理能力。

作者认为，仅从训练层面（next-token prediction + RL）理解 LLM 固然有力，但回避了实际学到的内部结构。「启发式与算法的袋子」这一框架能同时解释 LLM 的大规模训练后为何既有能力也有失败模式。作者进一步指出，即使没有推理训练，也可以通过顺序组合大量局部启发式规则获得相当通用的推理能力，并援引 Mercier & Sperber 关于理性作为直觉模块的理论作为对照。