UT奥斯汀教授免费电子书新增Transformers章节，从零手搓并训练
GeostatsGuy · x · 2026-11-04
UT Austin 教授 Michael J. Pyrcz 在其免费在线电子书《Applied Machine Learning in Python》中新增了 Transformers 章节（全书 56 章中的第 8 个深度学习章节）。
章节内容从零开始构建一个简单的 Transformer，并通过两个完整演示进行训练和诊断，涵盖：
- 从 LSTM 到 Transformer 的动机与演进
- Self-Attention 机制：输入/位置嵌入、Query/Key/Value、注意力分数与权重
- 残差连接与前馈网络
- 两个逐步演示：合成数据训练、检查嵌入、绘制注意力权重与残差连接可视化
配套有 YouTube 课程视频与 GitHub 仓库（MachineLearningDemos），全部开源免费。
「研究」频道最新
- 梯度封印防遗忘学习失效：让开源模型发布后也难被微调出危险能力 — burkov · 2026-11-04
- 新方法从零分模型预测基准成绩:算力省 5600 倍,误差 3 分内 — kenziyuliu · 2026-11-04
- 团队 2 天半烧 100 亿 token 打造全城级世界模型 Omniscience — Kuprel · 2026-11-04
- 伯克利团队提出 Data Inoculation：用 RL 在采数据时就提升质量 — berkeley_ai · 2026-11-04
- Map2Video：用地图和街景控制真实地点的 AI 视频生成 — ryosuzk · 2026-11-04
- Xudong Sun 获 SIGOPS Dennis M. Ritchie 博士论文奖荣誉提名 — LingmingZhang · 2026-11-04