12章7500行逐行注释教程，从零手写现代 GPT
tom_doerr · x · 2026-10-16
GitHub 开源项目 how-to-train-your-gpt（已获 3.7k star）提供一份 12 章、7500+ 行的交互式教材，带你从零构建、训练并运行一个 LLama 3 风格的现代语言模型，定位与 ChatGPT、Claude、LLaMA、Mistral 同族架构。
- 逐行注释：tokenizer、embedding、attention、训练循环、推理引擎全部自己写，每行代码都标注「做什么」和「为什么」
- 28 个独立主题讲解：覆盖 RoPE、attention、RMSNorm、SwiGLU、KV cache、AdamW、混合精度等关键技术
- 叙事式 walkthrough：追踪一句话在模型中的完整旅程，零 ML 基础也能跟着跑，附 Colab 入口
「研究」频道最新
- SWE-Duel:让编码 agent 互相出题埋 bug 的抗污染竞技场 — Consistent_Fox_2990 · 2026-10-16
- 实测：去掉上下文条件化后，图像条件在视频生成中反而更强 — pixlpa · 2026-10-16
- 研究者吐槽：不少论文改动一堆，基线连行为克隆都不如 — retr0jirachi · 2026-10-16
- FrankenSim 用物理建模造虚拟管弦乐团，钢琴和鼓 demo 已上线 — doodlestein · 2026-10-16
- FoveaVLA 用学习式注视动作替代腕部相机,成功率升至 70.8% — Haoyu_Xiong_ · 2026-10-16
- ApolloPFN:原生融合外生变量的零样本时间序列预测网络 — burkov · 2026-10-16