十年前的疑问已解:next-token 表示并未带来难以学习的计算难题
Aaroth · x · 2026-09-25
@Aaroth 回顾 LLM 发展中的一个关键认知转变:十年前,把输出分布表示为 next-token 分布是否存在计算上的困难、导致模型难以学到有用行为,是一个真正有趣的问题。实践证明这种担忧并未成真。
- 作者补充:任何能输出文本的系统在数学上都可以写成「next-token 预测器」,这只是关于概率分布的平凡语法事实
- 这一说法不涉及大脑内部是否以类似方式工作,也不构成对 LLM 内部机制与人类相似性的断言
所属事件:研究者称「LLM 只是下一个词预测器」是空洞论断(3 条相关)→
「漫话AGI」频道最新
- 哈佛研究员逐条拆解 Sanders 超级智能禁令法案：定义太模糊难落地 — StephenLCasper · 2026-09-26
- 美议员提「禁止超级智能法案」：设立联邦AI部并暂停超算训练 — StephenLCasper · 2026-09-26
- Gary Marcus 转发观点:当前智能体框架完全不安全,须推倒重设计 — GaryMarcus · 2026-09-26
- LeCun 放话靠堆 LLM 绝无 AGI,研究员以解千禧年难题回怼 — aran_nayebi · 2026-09-26
- 哲学家 Eric Schwitzgebel 长文：我们不该造「AI 守护天使」 — eschwitz · 2026-09-26
- 从业者观察:普通人现在开始无差别反感一切 AI 事物 — BLUECOW009 · 2026-09-26