Transformers Laid Out:一篇讲透原理与 PyTorch 实现的长文
goyal__pramod · x · 2026-09-07
工程师 Pramod G 将博客迁至 Substack 后发布长文《Transformers Laid Out》,目标是在一处整合三种常见 Transformer 教程的视角:直观理解原理、逐节解读《Attention is All You Need》论文、以及从新手视角用 PyTorch 亲手实现。
文章结构与学习法:
- 以机器翻译任务("I like Pizza"英译印地语)贯穿讲解原始 Transformer 的设计动机与工作流程
- 每个部分先对应论文段落与 Transformer 组件做详细讲解,再给出带提示和文档链接的示例代码块
- 建议读者先自行实现、卡住再回看作者代码,作者认为这是成为"cracked engineer"的第一步
- 因 Substack 代码排版限制,完整代码部分保留在原博客
作者还预告正在撰写 CUDA 方向的新内容,并将逐步迁移并修订旧文。适合想系统打通"原理+论文+代码"三层的初学者。
「研究」频道最新
- scikit-learn 1.9 新增 metric_at_thresholds,一键寻找最优分类阈值 — GaelVaroquaux · 2026-09-08
- Codex 内 Astra agent 自主选出癌症测序关键变异,与研究者判断一致 — iskander · 2026-09-08
- 评测设计新主张:先搭真实世界,再由领域专家写任务 — Shahules786 · 2026-09-08
- David Silver 创业公司 Ineffable 新增六位联合创始人 — giffmana · 2026-09-08
- 用GRPO教9B小模型写Blender代码造低多边形房间,踩坑全记录 — TheMoonMidas · 2026-09-08
- 2026 PNPL 竞赛:用 MEG 数据推进无创语音解码脑机接口 — pnpl · 2026-09-08