权重的关系才是关键：回击「LLM 只是检索机器」论

teortaxesTex · x · 2026-09-26

作者 teortaxesTex 认为，人们普遍低估了 LLM 的本质：过度关注权重的「底层载体」。权重固然只是数字，但权重之间的关系才是网络中真正的信息，这些关系所包含的函数表达能力边界尚不清晰。

针对「LLM 只是一个拥有巨大记忆与检索能力的系统，无法为新问题发明解法」的常见质疑，作者反驳道：冯·诺依曼同样是一个记忆与检索能力超群的系统，但这在人身上恰恰常被视为创造性天才的标志。他提出的核心理解是：LLM 是「形状」（shapes），而非代码或机械结构——权重描述的是模型表征空间的形状，理解这一点是尊重 LLM 能力的基本前提。