Karpathy nanochat 获 5.9 万星：从零训练 LLM 全流程仓库
techNmak · x · 2026-11-01
Andrej Karpathy 的 nanochat 已收获 59K star，被称为「藏在单个代码库里的完整 LLM 工程实验室」。与多数基于预训练权重的项目不同，它包含训练管线本身，让你能亲手走完语言模型的完整生命周期：
- 从原始文本训练 BPE tokenizer
- 用 PyTorch 搭建 Transformer，理解 attention、RoPE、GQA 与归一化
- 在大规模文本上做预训练
- 实验Muon、AdamW 优化器与混合精度
- 对基座模型做对话微调
- 在特定任务上探索强化学习
- 评测模型并用 KV cache 做推理
仓库还提供一个 speedrun 脚本，一键串联 tokenizer 训练、预训练、SFT 与评测全流程。
「编程与Agent」频道最新
- Nous Research Hermes Agent 接入 Beam 数据管道，由 Bittensor 驱动 — markjeffrey · 2026-11-01
- 多模型容灾链会击穿安全底线：拒绝触发即切换更宽松模型 — petrusenko_max · 2026-11-01
- Bilgin Ibryam 精选 12 份系统设计与架构必读 Newsletter — bibryam · 2026-11-01
- Context.dev 获 900 万美元融资,Agent 联网成独立赛道 — miky_shil · 2026-11-01
- 开源项目 HelixFoundry 获 1.9k 星:让 Agent 给企业数据自动建本体图谱 — adnan_hashmi · 2026-11-01
- 特效监制动手整理:20 个开源 Skills 搭出 Claude 自动动效生成流水线 — GCWebDesigner · 2026-11-01