谷歌研究员 Lampinen 长文反驳「随机鹦鹉」：纯语言训练也能学到意义

AndrewLampinen · x · 2026-09-27

Google DeepMind 研究员 Andrew Lampinen 发布长线程，系统反驳 Bender & Koller「随机鹦鹉」论文的核心技术主张——即仅凭语言训练的系统只能学到语言形式、无法触及需要接地（grounding）的意义。

他的主要论点：

现代语言模型在受控环境中从头训练时所展现的泛化能力（不需要工具、外部 harness），已足以反驳「先验上不可能有理解」的论断；工具调用也只是和其他语言一样的 token，谈不上「魔法般地提供意义」。
批评「从语言中无法学到意义」这类论证是「证明得太多」（proving too much），并讨论了记忆与泛化在语言模型及其他 ML 系统中的关系。
他还提到自己关于语言模型能否从被动离线训练中学到因果结构与推理的研究，并澄清「被动」一词在讨论中被混淆的两个维度。

他最不满的一点是：原论文作者从不定义关键术语、也不提出可证伪的主张，更从不正面回应与自己相悖的实证证据——「用华丽修辞做个糟糕论证没问题，但证据变化时你应该更新观点，而他们显然没有」。

「模型」频道最新