开源课程让学习者亲手用 PyTorch 实现 LLM
roberott · reddit · 2026-08-04
一门从零实现 LLM 的实战开源课
作者做了一个免费的 MIT 许可仓库 LLM Creator Studio，目标不是“读懂”LLM，而是亲手把它从头实现出来。
- 共 18 个模块、62 个练习，通过 NotImplementedError 留空让学习者自己补全
- 测试不仅检查能否运行，还会拿实现结果对照 PyTorch 官方参考实现，比如 nn.MultiheadAttention、torch.optim.AdamW
- 每道练习都附带完整参考答案，卡住时可以对照
- 可在 CPU / GPU / Mac 上运行，不要求特定硬件
- 最后会训练出一个真正的 约 900 万参数 GPT，能生成短篇连贯故事
作者说明自己在搭课程脚手架时用了 Claude Code，但课程设计和 PyTorch 实现都是自己完成的。
「编程与Agent」频道最新
- 阿里通义发布 Qwen3.8-Max，主打编程协作 — ccerrato147 · 2026-08-04
- 黑客松获奖项目 Uta Sensei 用音乐教日语，拿下 2000 美元 — Gradio · 2026-08-04
- OpenAI 公布 Codex 获奖者，每队可得 1 万美元 — Gradio · 2026-08-04
- Executor 把 MCP 和 OpenAPI 工具统一成一个 Agent 网关 — DanielLockyer · 2026-08-04
- Fizgig v3.2.0 新增 MiniMax H3 的实验性 LoRA 训练 — shootthesound · 2026-08-04
- Fizgig 上线 MiniMax H3 实验性 LoRA 训练，模型文件约 15.7GB — shootthesound · 2026-08-04