十年前的疑问已解:next-token 表示并未带来难以学习的计算难题
Aaroth · x · 2026-09-25
@Aaroth 回顾 LLM 发展中的一个关键认知转变:十年前,把输出分布表示为 next-token 分布是否存在计算上的困难、导致模型难以学到有用行为,是一个真正有趣的问题。实践证明这种担忧并未成真。
- 作者补充:任何能输出文本的系统在数学上都可以写成「next-token 预测器」,这只是关于概率分布的平凡语法事实
- 这一说法不涉及大脑内部是否以类似方式工作,也不构成对 LLM 内部机制与人类相似性的断言
所属事件:「LLM 只是下词预测器」说法被指空洞，多位学者激辩(7 条相关)→
「漫话AGI」频道最新
- 科技圈为何厌恶非技术者：wordgrammer 谈学历崇拜与新时代管理阶层 — wordgrammer · 2026-11-11
- 开发者感言：有了 Claude，我不再是独自一人解决复杂问题 — l4rz · 2026-11-11
- KOL 吐槽:评论区多 believe AI 致贫而非创造史上最大财富 — Dr_Singularity · 2026-11-11
- OpenAI GDPval:AI 胜人类专家比例从 12.4% 升至 83%,但团队为何仍在 — danshipper · 2026-11-11
- OpenAI 联创 Jack Clark:2028 年底前递归自我改进概率 60% — JacquesThibs · 2026-11-11
- 研究：近半数 STEM 博士论文用 AI 写，仅 4.7% 主动披露 — paulnovosad · 2026-11-11