统计学家 Shalizi 长文笔记：用马尔可夫链与核平滑审视 Attention 与 LLM
tak3sh8 · x · 2026-10-13
卡内基梅隆统计学家 Cosma Shalizi 的公开学习笔记《"Attention", "Transformers", in Neural Network "Large Language Models"》被再次转发热议，作者自嘲既嫉妒又怕被时代淘汰才硬啃这块文献。
- "Attention" 部分：质疑多头注意力的命名，认为注意力本质接近核平滑（kernel smoothing），并讨论识别失败（identification failures）等问题，批评 AI 领域的 "wishful mnemonics"（一厢情愿的命名法）应重新纳入基础课程。
- "Transformers" 与语言模型部分：探讨“语言模型不就是马尔可夫模型吗”这一对比，讨论 LLM 与 Lempel-Ziv 压缩的关系、下一词预测与长程预测的差异、提示词泄露的直觉，以及 Gopnik 式的“库”观点等。
- 性质：作者强调这是个人梳理阅读的笔记而非权威论述，坦承可能有很多错误，但因其批判视角独特而被不少人（如 nattyover 由此撰写专栏）视为有价值的反主流阅读材料。
适合想从统计学/信息论视角理解 Transformer 局限的读者。
所属事件:统计学家Shalizi用马尔可夫链与核平滑剖析Attention(2 条相关)→
「研究」频道最新
- Sakana AI 提出多智能体自监督 MASS,让自我改进 AI 避免自我强化错误 — hardmaru · 2026-10-13
- 《降临》启发自注意力:Transformer 架构的灵感溯源故事 — dosco · 2026-10-13
- Szepesvari 列举近十年从理论走向实用的算法:max-flow 等五项成果回应质疑 — CsabaSzepesvari · 2026-10-13
- 研究者称预训练可视为 RL 的退化特例，数据驱动方法被 RL 统摄 — QuintinPope5 · 2026-10-13
- Google DeepMind 招 2027 夏季研究实习生，方向为持续学习 — TheGradient · 2026-10-13
- 研究者提议:只模仿成功轨迹的「自 imitation」替代在线 RL — QuintinPope5 · 2026-10-13