8M 参数小 LLM 从零训练：他用博客记录踩坑全过程
the-random-guy-2002 · reddit · 2026-11-01
一位开发者用 PyTorch 从零构建并训练了一个约 800 万参数的小型 LLM，作为复现和验证各种研究论文的实验场，并撰写博客记录全过程。
目前已发布两篇：一篇讲如何不看教程亲手实现 Transformer，另一篇记录 60000 步训练中遇到的 loss 平台期及一个简单修复方法。接下来计划实现 KV caching、PagedAttention 和 Orca 等推理优化技术。
帖中附上《办公室》名场面梗图（"I am ready to get hurt again"），自嘲继续踏上踩坑之路。作者明确表示非推广，只是希望获得社区反馈。
「研究」频道最新
- 研究者分享演讲：如何把人类动作重定向到人形机器人 — notmahi · 2026-11-01
- CrowdGPT v2.6:协作式训练 1B 模型,6 天完成 45 亿 token — Vxtzq1 · 2026-11-01
- AI agent 首次端到端完成小鼠癫痫治疗：设计基因疗法并操刀脑部手术 — Distinct-Question-16 · 2026-11-01
- Gated DeltaNet 交互式讲解器:用固定状态替代无限增长的 KV 缓存 — CatAstro_Piyush · 2026-11-01
- BooBench:用「吓出复读机」的方式测崩 LLM 与 OCR 工具 — xennygrimmato_ · 2026-11-01
- ET-SoC-1 芯片交互式可视化:FMA 指令放大后长这样 — yaroslavvb · 2026-11-01