免费大学级教材:从数学原理拆解 Transformer 注意力与 token 动力学
CatAstro_Piyush · x · 2026-11-19
有人推荐了一门免费的大学级开放资源 《Transformers: Attention and Token Dynamics》,从数学层面讲透 Transformer 架构。
内容覆盖 self-attention(Q/K/V 与核函数视角)、softmax 的 1/√d 缩放、多头注意力、位置编码、Transformer block、掩码语言建模,以及 token 动力学的数学证明、聚类定理、低温 softmax 和现代大规模注意力。材料配有 Python 代码,从方程出发约一百行搭出架构并在 Shakespeare 上训练迷你 BERT,再把注意力剥离成 hardmax 的相互作用粒子系统并证明聚类定理,适合有数学背景的读者阅读收藏。
「研究」频道最新
- tla-kit:把 TLA+ 全套验证工具装进一个可复现容器,附 14 个工具的 MCP server — Scottie-2222 · 2026-11-19
- Anshul Kundaje 补充:科研产出应像代码一样版本控制,而非一锤定音的最终版 — anshulkundaje · 2026-11-19
- 港科大等发布 META-Robot:56 次真机试抓成功 44 次,可自检自修复 — jiqizhixin · 2026-11-19
- Raschka 补全位置编码长文附录:新增 YaRN 与 ALiBi 详解 — rasbt · 2026-11-19
- 蚂蚁灵波具身挑战赛收官:同一VLA基座,15队48小时真机攻坚 — 机器之心 · 2026-11-19
- STOPD 随机截断加速 On-Policy 蒸馏:token 省 25%–48%,训练快 1.3–2.2 倍 — 机器之心 · 2026-11-19