开发者实测 Raschka《从零构建大模型》：动手造一遍最懂 LLM

rasbt · x · 2026-11-12

开发者 brianreyx 分享称，从零动手构建是理解 LLM 最高效的学习方式，他正在学习 Sebastian Raschka（@rasbt）的《Build a Large Language Model (From Scratch)》一书。

配图展示其学习笔记：书中讲解 LLM 的自注意力机制本身不感知 token 顺序，嵌入层对同一 token ID 无论位置如何都生成相同向量，因此需要额外注入位置信息；右侧 Jupyter 笔记本演示了 token embedding 与 position embedding 相加得到最终嵌入向量的完整代码过程。