「LLM 只是下词预测器」说法被指空洞，多位学者激辩

9 月 25–26 日，围绕「LLM 只不过是下一个 token 预测器/随机鹦鹉」这一流行说法，多位研究者在 Twitter/Bluesky 上展开激辩。发难者是 Aaroth：他认为这个说法本身是空洞的（contentless），用它来贬低或界定 LLM 并不传递任何实质内容；辩论随后延伸到人脑机制与 LLM 是否同构的问题。

已确认

• Aaroth 于 9 月 25 日发帖提出上述观点，并回顾历史：十年前，「把输出分布表示为 next-token 分布是否存在计算上的困难、导致模型难以学到有用行为」曾是一个真正有趣的问题，但实践证明这种担忧并未成真——next-token 表示并未带来难以学习的计算难题。
• 普林斯顿研究者 Aran Nayebi 在 9 月 26 日转述这场辩论，参与者包括 MIT 的 Andrew Ilyas、Aaron Roth 等人；Aaron Roth 同样指出「下一个词预测」这一表述缺乏内容。
• 辩论的另一条线是 Aaroth 与 @10001plateaus 关于人脑机制的对峙。@10001plateaus 反驳称，说「人脑通过产出机器学习分数来选择下一个词」完全错误：其一，大脑能不按顺序思考；其二，大脑有一套不同于 LLM 的「说什么」的选择机制。
• Aaroth 进一步回应：任何概率分布在数学上都可以表示为逐元素条件分布的乘积（这正是 LLM 的输出形式），但这并不意味着产生该输出的系统本质上只能顺序推理；用「LLM 使用某种特定表示」来论证它不能跳出顺序思考是不成立的。

为什么重要

• 这场辩论触及对 LLM 能力边界的常见误判：把「输出形式」（逐 token 生成）等同于「内部机制或推理能力」（只能顺序思考），是社交媒体上贬低或神化 LLM 时都常犯的混淆。
• 辩论同时连接了历史与认知科学两条线索：十年前关于 next-token 表示可学习性的疑问已被实践解答，而人脑是否可被视为某种「预测机器」仍是开放问题。

2026-09-25 ~ 2026-09-26 · 7 条相关

事件全程(共 2 集)→

• 第 1 集:「LLM 只是下词预测器」说法被指空洞，多位学者激辩(2026-09-25,7 条)
• 第 2 集:Mitchell 引爆「现在的系统已不是 LLM」大论战(2026-09-27,31 条)

• 「LLM 只是下一个词预测器」为何是个空洞论断 — Aaroth · 2026-09-25
• 【源头】十年前的疑问已解:next-token 表示并未带来难以学习的计算难题 — Aaroth · 2026-09-25
• 【源头】研究者反驳「LLM 只是下一个词预测器」：这一说法其实是空洞的 — Aaroth · 2026-09-25
• 【源头】「下一个词预测」是空概念?学者辩论 LLM 本质之争 — aran_nayebi · 2026-09-26
• 「大脑不是下词预测器」？争议聚焦能否跳出顺序思考 — 10001plateaus · 2026-09-26
• LLM 输出分布可分解,不代表它只能按序思考 — Aaroth · 2026-09-26

另有 1 条近重复转述:Aaroth