「下一个词预测」是空概念?学者辩论 LLM 本质之争
aran_nayebi · x · 2026-09-26
普林斯顿研究者 Aran Nayebi 与 MIT 的 Andrew Ilyas/Aaron Roth 等人就「LLM 只不过是下一个词预测器/随机鹦鹉」这一流行说法展开辩论。
- Aaron Roth 指出一个恼人的问题:「下一个词预测器」其实是空洞的表述——任何从输入到输出字符串的映射,都可以分解为一系列「下一个词」分布。
- Nayebi 补充:按「基于当前状态和动作推断世界下一状态 P(s'|s,a)」的定义,人类也是「下一个词预测器」,所以这个区分对模型实际学到什么、能力边界在哪没有实质意义。
- 这场讨论是对 Grady Booch 等人贬低 LLM 说法的回击,认为「随机鹦鹉」式批评混淆了实现机制与能力本质。
所属事件:「LLM 只是下词预测器」说法被指空洞，多位学者激辩(7 条相关)→
「漫话AGI」频道最新
- KOL 吐槽:评论区多 believe AI 致贫而非创造史上最大财富 — Dr_Singularity · 2026-11-11
- OpenAI GDPval:AI 胜人类专家比例从 12.4% 升至 83%,但团队为何仍在 — danshipper · 2026-11-11
- OpenAI 联创 Jack Clark:2028 年底前递归自我改进概率 60% — JacquesThibs · 2026-11-11
- 研究：近半数 STEM 博士论文用 AI 写，仅 4.7% 主动披露 — paulnovosad · 2026-11-11
- 学者主张教学生用 AI 拿反馈：反馈让你超强，代写让你脑死 — paulnovosad · 2026-11-11
- 学者谈 AGI 后人类立场：在乎人类之后的生命进程并非幼稚 — danfaggella · 2026-11-11