从零构建大模型的934页技术书
algo_diver · x · 2026-07-11
作者写了一本 **934 页** 的书，系统讲解如何从零构建大语言模型的每一层，并配有 **35 个项目**。 书中覆盖的内容包括： - tokenizer - attention - KV cache - MoE - RLHF - 量化 - serving 作者说，书里很多概念是自己一年前还不熟悉的，如今已经完整融入到构建 TamilLM 的实践里；如果读者一直关注他的项目演进，并且想真正理解模型“底层到底发生了什么”，这本书就是起点。他也提到，这本书和自己之前的论文在多个章节里是互相呼应的。
「研究」频道最新
- 长运行模型能解难题，也会暴露短评测看不到的风险 — polynoamial · 2026-07-21
- 作者称 AI 目前最偏向懂行用户，相关新论文引热议 — Afinetheorem · 2026-07-21
- Generative Bionics 六个月把 Gene.01 做成可用人形平台 — lukas_m_ziegler · 2026-07-21
- 南京大学提出 L0–L7 具身世界模型评估梯度 — jiqizhixin · 2026-07-21
- Anthropic 为罕见病研究者提供最高 5 万美元 Claude 额度 — AnthropicAI · 2026-07-21
- 激活感知量化提升 GPQA 准确率，但也拖慢 Gemma 3 4B QAT — devildip · 2026-07-21