免费大学级教材:从数学原理拆解 Transformer 注意力与 token 动力学

CatAstro_Piyush · x · 2026-11-19

有人推荐了一门免费的大学级开放资源 《Transformers: Attention and Token Dynamics》,从数学层面讲透 Transformer 架构。

内容覆盖 self-attention(Q/K/V 与核函数视角)、softmax 的 1/√d 缩放、多头注意力、位置编码、Transformer block、掩码语言建模,以及 token 动力学的数学证明、聚类定理、低温 softmax 和现代大规模注意力。材料配有 Python 代码,从方程出发约一百行搭出架构并在 Shakespeare 上训练迷你 BERT,再把注意力剥离成 hardmax 的相互作用粒子系统并证明聚类定理,适合有数学背景的读者阅读收藏。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →