Karpathy 的 7 个 SOTA 开源仓库:从 micrograd 到 nanochat 的 LLM 修炼路径
huangyun_122 · x · 2026-11-02
博主 huangyun122 梳理 Karpathy 的 7 个高质量 GitHub 仓库,构成一条从零理解到亲手训练大模型的路径:
- micrograd:约 100 行 Python 手写自动微分与反向传播,看清神经网络如何学习;
- nn-zero-to-hero:配套视频课的 notebook 合集,从单个神经元讲到 GPT;
- minbpe:干净的 BPE 分词器实现,讲清文本如何变成 token;
- nanoGPT:最简可训练/可微调的 GPT 仓库,自己从零练一台语言模型;
- llm.c:同一套训练流程用纯 C 和 CUDA 实现,不依赖 PyTorch,摊开底层算子;
- nanochat:端到端聊天模型训练栈,把几万美元量级的 GPT-2 级训练压到约几十美元;
- autoresearch:让 agent 改训练代码、短训几分钟、保留更优改动并整夜循环,用代理自动做研究。
「编程与Agent」频道最新
- OpenAI 推出 ChatGPT Sites:访客用 ChatGPT 登录、自带数据库与存储 — gabrielchua · 2026-11-02
- ChatGPT Sites 五大玩法：自带数据库、MCP 托管与自定义域名 — gabrielchua · 2026-11-02
- AI Agent 落地之痛：护栏太紧拖累自动化，太松又怕失控 — bibinprasannan · 2026-11-02
- 微软与伯克利开源 TokenEconomizer，让编码 Agent 省 18-31% Token 成本 — victor_explore · 2026-11-02
- TLA-Verus:用 LLM 智能体自动证明 TLA+ 规约的时序性质 — tianyin_xu · 2026-11-02
- AI 生成截图含 Mac/iPhone 字样，App 触发苹果 5.2.5 被拒 — tinyfool · 2026-11-02