12.5K 星 GitHub 仓库：纯 PyTorch 手写从预训练到 GRPO 全流程
techNmak · x · 2026-10-27
一个 12.5K 星的 GitHub 仓库「Train LLM From Scratch」把整门 LLM 工程课装进了一个代码库：从原始文本出发，用纯 PyTorch 手写 Transformer,一路覆盖到强化学习，不依赖 trl、peft、transformers。
仓库实现包括：
- Tokenization、attention、Transformer 块与预训练
- 带 assistant-token loss 掩码的 SFT
- 基于 Bradley-Terry 的偏好对奖励建模
- DPO、ORPO、KTO 等偏好优化
- 带价值头与 GAE 的 PPO
- 基于 group-relative 奖励的 GRPO 及 GSM8K 评测
各阶段共享同一个底层 Transformer,可对照观察训练目标、奖励计算与优化循环的演变；另有现代架构版(RoPE、RMSNorm、SwiGLU、GQA、MoE、KV cache)以及 Muon 优化器、LoRA、SimPO、投机解码、int8 权重等新技巧，单 GPU 甚至笔记本 CPU 即可训练。
「编程与Agent」频道最新
- 用模式语言设计 agent 界面：在语法与名词动词层级做抽象 — DanGrover · 2026-10-27
- 微软 Foundry 托管 agent 拥有独立邮箱与组织架构身份 — marlene_zw · 2026-10-27
- 36 个 AI 评审 36:0 一边倒：单会话技能架构胜过 Superpowers — Kai_ThoughtArchitect · 2026-10-27
- 语音机器人 110 节点里 80% 是修复逻辑：大流程怎么拆 — RasonYang · 2026-10-27
- 本地向量路由 100k 工具 top-1 达 70.7%、延迟 9.6ms，吊打 BM25 — Key_Coconut_9269 · 2026-10-27
- 把 700 多个网页设计经验做成 Agent 可用的设计技能 — aigclink · 2026-10-27