统计学家Shalizi用马尔可夫链与核平滑剖析Attention

卡内基梅隆统计学家 Cosma Shalizi 发布公开学习笔记，用马尔可夫链与核平滑等统计视角重新审视 Attention 机制与大语言模型，引发讨论。有作者借此事分享心得：当某个方法实际效果很好，却因'这只是XX的特例、太朴素'而被轻视时，往往说明观察者忽略了其中的非显然要素，Transformer 的成功正是这一认知的例证。

2026-10-13 ~ 2026-10-13 · 2 条相关

• 统计学家 Shalizi 长文笔记：用马尔可夫链与核平滑审视 Attention 与 LLM — tak3sh8 · 2026-10-13
• 作者心得：当你嫌弃某方法'太朴素'时，往往错过了它的非显然之处 — tak3sh8 · 2026-10-13