François Fleuret 批交叉熵迷信：模型靠统计线索取胜而非理解
francoisfleuret · x · 2026-11-08
日内瓦大学教授 François Fleuret 发推讽刺 Transformer 的工作方式：模型实际上"完全不知道对话在讲什么"，但凭借对会话内容的完美记忆、抓住每一个统计线索，把交叉熵损失压得更低。
他在补充中提出核心主张：我们需要的是能克服自身归纳偏置去学习的模型，而不是靠归纳偏置才学得好的模型；并呼吁学界"停止做交叉熵拜物教徒"。这是对当前"下一 token 预测"范式局限的一针见血批评。
所属事件:日内瓦大学教授讽 Transformer 无理解靠统计线索取胜(2 条相关)→
「研究」频道最新
- 追踪模型内部隐空间轨迹,可免训练预测推理答案正确性 — burkov · 2026-11-08
- Aaronson-Ambainis 猜想据称已被证明，专家忙着澄清误读 — skdh · 2026-11-08
- MIT 与哈佛团队发布 T-WLA：触觉修正视觉策略，MPJPE 降 30% — ceciletamura · 2026-11-08
- 本地部署开源 LLM 提取 13 万份病历数据,准确率达 97.5% 超人工 — DrDatta_AIIMS · 2026-11-08
- 研究者提议「权重空间推理」：用激活空间直读模型隐藏意图 — srishti_gureja · 2026-11-08
- LiveFoley:单 GPU 156ms 延迟实时为视频生成音效 — victor_explore · 2026-11-08