随机鹦鹉之争再起:Mitchell 称现有系统已非 LLM
9 月 27 日,圣塔菲研究所教授 Melanie Mitchell 在 X 上提出「我们现在拥有的并不是 LLM」,引发多位研究者围绕《Stochastic Parrots(随机鹦鹉)》论文与「LLM」定义的连环激辩。Mitchell 的核心论点是:语言模型的本义是捕捉语言统计结构的系统(n-gram、Elman 网络、GPT-2 皆属此列),而今天的 AI 系统经过大量后训练、包含众多外部软件组件,已超出这一范畴;因此用「随机鹦鹉」批评今天的系统属于稻草人论证——该论文针对的是 2021 年的 LLM。
已确认
- Mitchell 与 Boaz Barak(芝加哥大学)就定义展开交锋:Barak 追问「LLM」和「随机鹦鹉」是否只适用于 InstructGPT 之前的模型,并指出从一开始大家就会把今天的系统继续称作 LLM;Mitchell 以长文重申她对「语言模型」谱系的理解,并澄清她只想纠正「LLM」一词的滥用:现在人们用它指任何包含预训练语言模型的大型 AI 系统,但这并非《随机鹦鹉》论文中的原始含义。
- Google DeepMind 研究员 Andrew Lampinen 发布长线程,系统反驳 Bender & Koller 论文的核心技术主张,认为仅凭语言训练的系统也能学到意义,并称「随机鹦鹉」这一说法本身「充满喧嚣却毫无意义」。
- Redwood Research 的 Blanche Minerva 列出五步流水线(预训练、教工具调用 token、教命令行等)反驳「LLM 只是下一个词预测器」;并追问 Mitchell:一个能访问命令行、可运行程序的 transformer 是否算随机鹦鹉,判断标准是否取决于训练方式。mmitchellai 回应称他与 Emily Bender 写过解释「stochastic parrot」如何指代 LLM 的文章。
- 更多技术层面的质疑:研究者 francip 指出预训练、SFT、偏好优化和 RL 修改的是同一套权重、同一个给出 token 条件分布的推理过程,后训练固然能改变分布和行为,但这并不足以划出「语言模型」的边界。DeepMind 研究员 Nathaniel Daw 补充称,instruction tuning 和 RLHF 让模型行为偏离纯 next-token 预测这件事,至少从 ChatGPT 问世起就已成立。lusichu 则转发反驳 Mitchell,认为论文的含义被她曲解了。
- 论文作者之一 Timnit Gebru 发推表示不愿再回应纠缠该论点的人,并反问「为什么对 LLM 的准确描述会让你们如此破防」;cloneofsimo 转发并配图回应。
- 其他声援 Mitchell 的声音:Brad Buchsbaum 称该论文把 LLM「鸟类化」了;tallinzen 罕见站队论文一方,认为词义会随时间变化,用今天的系统批评那篇论文是时代错置。@aidanclark 另借 imagegen 生成翻车吐槽当下模型远非 ASI。
尚未确认
- 「LLM」一词的边界尚无共识:讨论各方对 RLHF/工具调用之后的系统是否仍算语言模型、以及「随机鹦鹉」批评是否因此失效,均停留在观点交锋层面,未有定论。
为什么重要
- 这场争论触及 AI 领域最常被引用的批评框架之一是否仍然适用:如果今天的系统在构成与能力上已不同于 2021 年的 LLM,围绕「随机鹦鹉」的诸多安全与伦理讨论可能需要重新校准术语与靶点。
2026-09-27 ~ 2026-09-27 · 28 条相关
- 第 1 集:「LLM 只是下一个词预测器」是空洞论断引发学界激辩(2026-09-25,7 条)
- 第 2 集:随机鹦鹉之争再起:Mitchell 称现有系统已非 LLM(2026-09-27,28 条)
一手来源
- Mel Mitchell 断言现有系统已非 LLM,术语误用致混淆 — _aidan_clark_ ·
- Melanie Mitchell 论战:RLHF 之后的模型还算「语言模型」吗 — MelMitchell1 ·
- 谷歌研究员 Lampinen 长文反驳「随机鹦鹉」:纯语言训练也能学到意义 — AndrewLampinen ·
- 研究者反驳「LLM 仅是随机鹦鹉」:连纯 LLM 也不再符合该模型 — BlancheMinerva · 2026-09-27
- Mitchell 回应术语之争:我们写过文章解释「随机鹦鹉」如何指代 LLM — mmitchell_ai · 2026-09-27
- Melanie Mitchell:「随机鹦鹉」对RL后训练模型已是稻草人论证 — MelMitchell1 · 2026-09-27
- Blanche Minerva 列五步流水线,反驳「LLM 只是下一个词预测」 — BlancheMinerva · 2026-09-27
- 「 transformers + 命令行还算随机鹦鹉吗」引发争论 — BlancheMinerva · 2026-09-27
- 「随机鹦鹉」标准遭追问:接入命令行的Transformer算不算 — BlancheMinerva · 2026-09-27
- 用一张图回应 Timnit Gebru 的「随机鹦鹉」之争 — cloneofsimo · 2026-09-27
- Mitchell 澄清随机鹦鹉论针对 2021 模型而非当今系统 — PMinervini · 2026-09-27
- 【源头】Mel Mitchell 断言现有系统已非 LLM,术语误用致混淆 — _aidan_clark_ · 2026-09-27
- 博主吐槽生图模型「蠢得离谱」,借此论证当下远非 ASI — _aidan_clark_ · 2026-09-27
- Melanie Mitchell 力挺「现在的系统不是 LLM」论 — MelMitchell1 · 2026-09-27
- 「随机鹦鹉」作者与 DeepMind 联创激辩:今天的模型还算 LLM 吗 — _aidan_clark_ · 2026-09-27
- Boaz Barak 追问随机鹦鹉论:LLM 称谓边界在哪 — boazbaraktcs · 2026-09-27
- Melanie Mitchell 与 Boaz Barak 激辩 LLM 是不是随机鹦鹉 — MelMitchell1 · 2026-09-27
- Mitchell 长文定义语言模型:n-gram 到 GPT-2 皆属 LLM 谱系 — MelMitchell1 · 2026-09-27
- 【源头】Melanie Mitchell 论战:RLHF 之后的模型还算「语言模型」吗 — MelMitchell1 · 2026-09-27
- Melanie Mitchell 纠正「LLM」滥用:RLHF 后已非语言统计模型 — MelMitchell1 · 2026-09-27
- 争论:无需复杂封装、裸跑 LLM 的表现已推翻「随机鹦鹉」论 — Zergylord · 2026-09-27
- 前 Google 研究员称「现在的系统已不是 LLM」,引发圈内关注 — giffmana · 2026-09-27
- 【源头】谷歌研究员 Lampinen 长文反驳「随机鹦鹉」:纯语言训练也能学到意义 — AndrewLampinen · 2026-09-27
- 研究者罕见站队「随机鹦鹉」:用今天的系统批评那篇论文是时代错置 — PMinervini · 2026-09-27
- 「随机鹦鹉」再起争端:研究者称该论文犯下核心语言学错误 — FlorianGallwitz · 2026-09-27
- 学者妙评:随机鹦鹉论文的问题在于把 LLM 鸟类化了 — _onionesque · 2026-09-27
- 《随机鹦鹉》作者回击批评:论文谈的是 2021 年的 LLM 而非今天的 AI — ctjlewis · 2026-09-27
- DeepMind 研究员:这一批评早在 ChatGPT 时代就已成立 — burny_tech · 2026-09-27
- 后训练之后还是语言模型吗?研究者激辩 LLM 定义边界 — burny_tech · 2026-09-27
- 随机鹦鹉之争再起:Melanie Mitchell称论文被曲解遭lu_sichu反驳 — burny_tech · 2026-09-27
另有 1 条近重复转述:asusarla