研究者激辩「随机鹦鹉」框架是否还适用于现代 LLM
9 月 27 日,Redwood Research 研究员 Blanche Minerva 与认知科学家 Melanie Mitchell 在社交平台上就「LLM 是否只是随机鹦鹉/下一个词预测器」展开争论。双方最终均认为这一经典批评框架已不完全适用于经过工具调用、长链推理与 RL 训练的现代模型。
已确认
- Minerva 提出一条五步流水线反驳该说法:拿一个 transformer,先在大量文本上预训练,再教会它调用工具的特殊 token,教会它使用命令行运行程序,让它用 CoT 做长推理,最后用 RL 训练,她质问这样的系统还算不算「随机鹦鹉」。
- Minerva 认为,连纯 LLM 也不再符合「随机鹦鹉」模型,多位原作者已公开声明这一框架不再适用;她指出该说法在 2021 年前后或可成立,如今继续使用很难站得住脚。
- Mitchell 回应称,她和 Emily Bender 曾写过「反方向」的文章,解释「stochastic parrot」这一说法如何指代 LLM;但她也表示,没看到有人针对 RL 后训练的模型仍持此论,认为「随机鹦鹉」批评对当前讨论已是稻草人论证。
- 讨论中另有开发者追问:一个能访问命令行、可运行程序、不做额外输入输出处理的 transformer,判断它是否是 stochastic parrot 是否取决于训练方式(如 RL)。Minerva 也以此向 Mitchell 提出类似问题。
为什么重要
「随机鹦鹉」是 LLM 领域流传最广的批评框架之一。这场讨论显示,无论是提出方还是质疑方都认为该说法已不完全适用于现代模型;术语之争背后,是对 LLM 能力实质判断的分歧,也提示后续讨论需要更精确的批评框架。
2026-09-27 ~ 2026-09-27 · 6 条相关
一手来源
- Blanche Minerva 列五步流水线,反驳「LLM 只是下一个词预测」 — BlancheMinerva ·
- Melanie Mitchell:「随机鹦鹉」对RL后训练模型已是稻草人论证 — MelMitchell1 ·
- 研究者反驳「LLM 仅是随机鹦鹉」:连纯 LLM 也不再符合该模型 — BlancheMinerva ·
- 【源头】研究者反驳「LLM 仅是随机鹦鹉」:连纯 LLM 也不再符合该模型 — BlancheMinerva · 2026-09-27
- Mitchell 回应术语之争:我们写过文章解释「随机鹦鹉」如何指代 LLM — mmitchell_ai · 2026-09-27
- 【源头】Melanie Mitchell:「随机鹦鹉」对RL后训练模型已是稻草人论证 — MelMitchell1 · 2026-09-27
- 【源头】Blanche Minerva 列五步流水线,反驳「LLM 只是下一个词预测」 — BlancheMinerva · 2026-09-27
- 「 transformers + 命令行还算随机鹦鹉吗」引发争论 — BlancheMinerva · 2026-09-27
- 「随机鹦鹉」标准遭追问:接入命令行的Transformer算不算 — BlancheMinerva · 2026-09-27