开源项目爆火:纯 PyTorch 从零训练自己的 LLM

GitHub 项目 train-llm-from-scratch(FareedKhan-dev)获 9.9k 星,提供从原始文本到对齐模型的完整训练路径。项目以纯 PyTorch 手写全流程,基于 Attention 等核心组件,可将 13M 参数小模型从预训练一路训练到 GRPO 对齐,被评价为把整个 LLM 工程课程塞进了一个代码库,适合学习 LLM 从零构建的完整链路。

2026-09-20 ~ 2026-09-20 · 2 条相关

• 9.9k 星开源项目:纯 PyTorch 从零训练并对齐你自己的 LLM — tom_doerr · 2026-09-20
• 9.9K 星开源仓库:纯 PyTorch 手写全流程,13M 参数从预训练练到 GRPO — techNmak · 2026-09-20