「下一个词预测」是空概念?学者辩论 LLM 本质之争
aran_nayebi · x · 2026-09-26
普林斯顿研究者 Aran Nayebi 与 MIT 的 Andrew Ilyas/Aaron Roth 等人就「LLM 只不过是下一个词预测器/随机鹦鹉」这一流行说法展开辩论。
- Aaron Roth 指出一个恼人的问题:「下一个词预测器」其实是空洞的表述——任何从输入到输出字符串的映射,都可以分解为一系列「下一个词」分布。
- Nayebi 补充:按「基于当前状态和动作推断世界下一状态 P(s'|s,a)」的定义,人类也是「下一个词预测器」,所以这个区分对模型实际学到什么、能力边界在哪没有实质意义。
- 这场讨论是对 Grady Booch 等人贬低 LLM 说法的回击,认为「随机鹦鹉」式批评混淆了实现机制与能力本质。
所属事件:学界激辩「LLM 只是下一个词预测器」是否空洞(4 条相关)→
「漫话AGI」频道最新
- 「System 1 模型」是营销滥用?卡尼曼双系统理论被挪用引争议 — emax · 2026-09-26
- 传科技公司靠向自带 Agent 的用户开放数据服务获可观收入 — thedealdirector · 2026-09-26
- AI 时代软件被当消耗品，我们却要每天盯着屏幕 — jeff_weinstein · 2026-09-26
- 导演 Taika Waititi：生成式媒体正降低电影业入行门槛 — OdinLovis · 2026-09-26
- Hugging Face CEO 力推 Open Alignment：让对齐像航空业一样变安全 — cephaloform · 2026-09-26
- 前 AI 研究者复盘:为何「假新闻泛滥」的预测没有成真 — neil_chilson · 2026-09-26