7 个 GitHub 仓库带你从零吃透 LLM：从 Transformer 到亲手训练

goyalshaliniuk · x · 2026-08-19

作者整理了 7 个系统学习 LLM 的 GitHub 仓库，声称不需要读几十篇零散教程就能从 Transformer 基础进阶到自己构建和训练语言模型。本条介绍第 1 个：Sebastian Raschka 的 LLMs-from-scratch（103k star），配套其著作《Build a Large Language Model (From Scratch)》，用 PyTorch 逐步实现注意力、Transformer、预训练与微调，还有 reasoning-from-scratch 等附章代码。线程中提到的其他仓库包括：Karpathy 的 nanoGPT、minGPT（约 300 行极简 GPT 实现，已半归档，建议转向 nanoGPT）和 llm.c（纯 C/CUDA 训练 GPT-2，比 PyTorch Nightly 快约 7%，30.8k star）；以及 Hugging Face 的 LLM Course（免费多语言课程，覆盖 Transformers/Datasets/Tokenizers）和 Transformers 库（164k star）。

所属事件:7 个 GitHub 仓库助你从零精通 LLM(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →