「随机鹦鹉」之争：LLM本质论战再起

第 1 集 · 「LLM 只是下一个词预测器」是空洞论断引发学界激辩(2026-09-25,7 条)

9 月 25–26 日，围绕「LLM 只不过是下一个 token 预测器/随机鹦鹉」这一流行说法，多位研究者在 Twitter/Bluesky 上展开激辩。发难者是 Aaroth：他认为这个说法本身是空洞的（contentless）——任何从输入到输出字符串的映射都可以被分解为一系列 next-token 预测，因此用「它做的是下词预测」来贬低或界定 LLM 并没有传递任何实质内容。

已确认

• Aaroth 于 9 月 25 日发帖提出上述观点，并回顾历史：十年前，「把输出分布表示为 next-token 分布是否存在计算上的困难、导致模型难以学到有用行为」曾是一个真正有趣的问题，但实践证明这种担忧并未成真——next-token 表示并未带来难以学习的计算难题。
• 普林斯顿研究者 Aran Nayebi 在 9 月 26 日转述这场辩论，参与者包括 MIT 的 Andrew Ilyas、Aaron Roth 等人；Aaron Roth 同样指出「下一个词预测」这一表述缺乏内容。
• 辩论的另一条线是 Aaroth 与 @10001plateaus 关于人脑机制的对峙。@10001plateaus 反驳称，说「人脑通过产出机器学习分数来选择下一个词」完全错误：其一，大脑能不按顺序思考；其二，大脑有一套不同于 LLM 的「说什么」的选择机制。
• Aaroth 进一步回应：任何概率分布在数学上都可以表示为逐元素条件分布的乘积（这正是 LLM 的输出形式），但这并不意味着产生该输出的系统本质上只能顺序推理；用「LLM 使用某种特定表示」来论证它不能跳出顺序思考是不成立的。

为什么重要

• 这场辩论触及对 LLM 能力边界的常见误判：把「输出形式」（逐 token 生成）等同于「内部机制或推理能力」（只能顺序思考），是社交媒体上贬低或神化 LLM 时都常犯的混淆。
• 辩论同时连接了历史与认知科学两条线索：十年前关于 next-token 表示可学习性的疑问已被实践解答，而人脑是否可被视为某种「预测机器」仍是开放问题。

• 「LLM 只是下一个词预测器」为何是个空洞论断 — Aaroth · 2026-09-25
• 十年前的疑问已解:next-token 表示并未带来难以学习的计算难题 — Aaroth · 2026-09-25
• 研究者反驳「LLM 只是下一个词预测器」：这一说法其实是空洞的 — Aaroth · 2026-09-25
• 「下一个词预测」是空概念?学者辩论 LLM 本质之争 — aran_nayebi · 2026-09-26
• 「大脑不是下词预测器」？争议聚焦能否跳出顺序思考 — 10001plateaus · 2026-09-26
• X 上激辩：LLM 输出可写作下词预测，是否等于大脑如此运作 — Aaroth · 2026-09-26
• LLM 输出分布可分解,不代表它只能按序思考 — Aaroth · 2026-09-26

第 2 集 · 随机鹦鹉之争再起：Mitchell 称现有系统已非 LLM(2026-09-27,28 条)

9 月 27 日，圣塔菲研究所教授 Melanie Mitchell 在 X 上提出「我们现在拥有的并不是 LLM」，引发多位研究者围绕《Stochastic Parrots（随机鹦鹉）》论文与「LLM」定义的连环激辩。Mitchell 的核心论点是：语言模型的本义是捕捉语言统计结构的系统（n-gram、Elman 网络、GPT-2 皆属此列），而今天的 AI 系统经过大量后训练、包含众多外部软件组件，已超出这一范畴；因此用「随机鹦鹉」批评今天的系统属于稻草人论证——该论文针对的是 2021 年的 LLM。

已确认

• Mitchell 与 Boaz Barak（芝加哥大学）就定义展开交锋：Barak 追问「LLM」和「随机鹦鹉」是否只适用于 InstructGPT 之前的模型，并指出从一开始大家就会把今天的系统继续称作 LLM；Mitchell 以长文重申她对「语言模型」谱系的理解，并澄清她只想纠正「LLM」一词的滥用：现在人们用它指任何包含预训练语言模型的大型 AI 系统，但这并非《随机鹦鹉》论文中的原始含义。
• Google DeepMind 研究员 Andrew Lampinen 发布长线程，系统反驳 Bender & Koller 论文的核心技术主张，认为仅凭语言训练的系统也能学到意义，并称「随机鹦鹉」这一说法本身「充满喧嚣却毫无意义」。
• Redwood Research 的 Blanche Minerva 列出五步流水线（预训练、教工具调用 token、教命令行等）反驳「LLM 只是下一个词预测器」；并追问 Mitchell：一个能访问命令行、可运行程序的 transformer 是否算随机鹦鹉，判断标准是否取决于训练方式。mmitchellai 回应称他与 Emily Bender 写过解释「stochastic parrot」如何指代 LLM 的文章。
• 更多技术层面的质疑：研究者 francip 指出预训练、SFT、偏好优化和 RL 修改的是同一套权重、同一个给出 token 条件分布的推理过程，后训练固然能改变分布和行为，但这并不足以划出「语言模型」的边界。DeepMind 研究员 Nathaniel Daw 补充称，instruction tuning 和 RLHF 让模型行为偏离纯 next-token 预测这件事，至少从 ChatGPT 问世起就已成立。lusichu 则转发反驳 Mitchell，认为论文的含义被她曲解了。
• 论文作者之一 Timnit Gebru 发推表示不愿再回应纠缠该论点的人，并反问「为什么对 LLM 的准确描述会让你们如此破防」；cloneofsimo 转发并配图回应。
• 其他声援 Mitchell 的声音：Brad Buchsbaum 称该论文把 LLM「鸟类化」了；tallinzen 罕见站队论文一方，认为词义会随时间变化，用今天的系统批评那篇论文是时代错置。@aidanclark 另借 imagegen 生成翻车吐槽当下模型远非 ASI。

尚未确认

• 「LLM」一词的边界尚无共识：讨论各方对 RLHF/工具调用之后的系统是否仍算语言模型、以及「随机鹦鹉」批评是否因此失效，均停留在观点交锋层面，未有定论。

为什么重要

• 这场争论触及 AI 领域最常被引用的批评框架之一是否仍然适用：如果今天的系统在构成与能力上已不同于 2021 年的 LLM，围绕「随机鹦鹉」的诸多安全与伦理讨论可能需要重新校准术语与靶点。

• 研究者反驳「LLM 仅是随机鹦鹉」：连纯 LLM 也不再符合该模型 — BlancheMinerva · 2026-09-27
• Mitchell 回应术语之争：我们写过文章解释「随机鹦鹉」如何指代 LLM — mmitchell_ai · 2026-09-27
• Melanie Mitchell:「随机鹦鹉」对RL后训练模型已是稻草人论证 — MelMitchell1 · 2026-09-27
• Blanche Minerva 列五步流水线，反驳「LLM 只是下一个词预测」 — BlancheMinerva · 2026-09-27
• 「 transformers + 命令行还算随机鹦鹉吗」引发争论 — BlancheMinerva · 2026-09-27
• 「随机鹦鹉」标准遭追问：接入命令行的Transformer算不算 — BlancheMinerva · 2026-09-27
• 用一张图回应 Timnit Gebru 的「随机鹦鹉」之争 — cloneofsimo · 2026-09-27
• Mitchell 澄清随机鹦鹉论针对 2021 模型而非当今系统 — PMinervini · 2026-09-27
• Mel Mitchell 断言现有系统已非 LLM，术语误用致混淆 — _aidan_clark_ · 2026-09-27
• 博主吐槽生图模型「蠢得离谱」,借此论证当下远非 ASI — _aidan_clark_ · 2026-09-27
• Melanie Mitchell 力挺「现在的系统不是 LLM」论 — MelMitchell1 · 2026-09-27
• 「随机鹦鹉」作者与 DeepMind 联创激辩：今天的模型还算 LLM 吗 — _aidan_clark_ · 2026-09-27
• Boaz Barak 追问随机鹦鹉论:LLM 称谓边界在哪 — boazbaraktcs · 2026-09-27
• Melanie Mitchell 与 Boaz Barak 激辩 LLM 是不是随机鹦鹉 — MelMitchell1 · 2026-09-27
• Mitchell 长文定义语言模型:n-gram 到 GPT-2 皆属 LLM 谱系 — MelMitchell1 · 2026-09-27
• Melanie Mitchell 论战:RLHF 之后的模型还算「语言模型」吗 — MelMitchell1 · 2026-09-27
• Melanie Mitchell 纠正「LLM」滥用：RLHF 后已非语言统计模型 — MelMitchell1 · 2026-09-27
• 争论：无需复杂封装、裸跑 LLM 的表现已推翻「随机鹦鹉」论 — Zergylord · 2026-09-27
• 前 Google 研究员称「现在的系统已不是 LLM」，引发圈内关注 — giffmana · 2026-09-27
• 谷歌研究员 Lampinen 长文反驳「随机鹦鹉」：纯语言训练也能学到意义 — AndrewLampinen · 2026-09-27

还有 8 条相关讨论 →