万字长文:LLM 只在做猜下一个词,智能为何能「掉出来」

r0ck3t23 · x · 2026-09-08

一篇广为传播的解释性长文,从「所有大模型都在做同一件事——预测下一个词」出发,阐述知识如何作为更好预测的副产品从中涌现:要猜对推理小说的下一个词就得记住谁在房间里,要补全代码就得理解上面的函数,要接上「太阳下的冰」就需要近似物理的东西。

作者用「装满调光旋钮的房间」类比模型参数:cook 与 turkey 经常相邻所以权重高,kill 与 spider 的含义取决于上下文;训练就是数万亿次「预测—对答案—微调旋钮」。同一机制也解释了幻觉(完全符合模式却指向不存在之物)与偏见(系统忠实复现人类模式,包括不愿复现的那些)。文末指出这是否算「理解」尚无定论,但人类几乎所有思考都以文字留下痕迹,世界的结构一直藏在这些被写下的句子里,而相当一部分所谓思考,确实能从思考留下的残骸中恢复。