研究者：共现统计是 transformer 架构不可或缺的数学基础
gerardsans · x · 2026-10-04
gerardsans 在讨论中主张：虽然共现（co-occurrence）不是语言建模的全部图景，但它是不可或缺的要素。transformer 是由 token 驱动的架构，权重与偏置本质上是梯度下降在语料上学到的压缩分布，用于指导推理；而共现正是支撑这一切的数学框架。他还评论称，业界被逼到墙角后才会回头审视这些基础问题，并暗示 AI 泡沫会破裂、一些关于 AI 能与不能的「惊人真相」将浮出水面。
所属事件:讨论热辩：共现统计是 LLM 与 Transformer 的数学基石(3 条相关)→
「研究」频道最新
- arXiv 论文揭示:个人 Agent 记忆越多反而越容易出错 — rohanpaul_ai · 2026-10-05
- 新研究:个人和小微发明者正更积极用 AI 写专利 — robseamans · 2026-10-05
- 《科学报告》论文：大象合唱声学模式可编码社交情境 — abenitezburraco · 2026-10-05
- 多智能体群蜂几乎无用:切块让 1-2B 小模型召回率从 0.3 升至 0.57 — deadatreides1 · 2026-10-05
- Sinclair 哈佛实验室首次公开演示：重编程基因清空培养皿中的癌细胞 — tomchapin · 2026-10-04
- 自训练别只留正确答案：策略多样性采样提升pass@k — PMinervini · 2026-10-04