GitHub 开源项目完整复现 LLM 训练全流程，纯 PyTorch 手写算法

thisguyknowsai · x · 2026-08-15

一位开发者 Fareed Khan 在 GitHub 上发布了 train-llm-from-scratch 项目，完整展示了从原始数据到现代对齐推理模型的训练流程，所有算法均用纯 PyTorch 手写，不依赖 trl、peft 或 transformers 库。项目涵盖预训练（基于 Attention is All You Need）、SFT、奖励模型、DPO、PPO、GRPO（DeepSeek-R1 方法）等阶段，并提供理论文档、手绘图表和代码。该项目的价值在于提供了 LLM 训练的完整教学资源。