从零实现Llama讲座
kalyan_kpl · x · 2026-07-13
这场讲座标题为 **“Code Llama 4 from Scratch”**，内容是从零讲解如何实现一个 LLM 的核心组件。 涵盖的主题很完整，包括： - LLM 的基本工作方式：预测下一个词、概率分布、采样策略 - Token 与分词：BPE、词表构建、编码/解码 - 词向量与语义表示：embedding、token 关系、上下文 - Transformer 核心结构：self-attention、Q/K/V、多头注意力、masked attention - 位置编码与前馈网络：RoPE、FFN、线性层与激活函数 帖子附了教程链接，整体是面向入门到进阶的系统性实现讲解。