Sebastian Raschka 深度长文：从 GPT-2 到 RoPE 详解 LLM 位置编码
Ahead of AI (Sebastian Raschka) · rss · 2026-11-15
Sebastian Raschka 在 Ahead of AI 发布长文，系统讲解现代 LLM 如何编码 token 位置信息，配套可视化示例、数学推导和 PyTorch 实现。
主要内容
- 位置信息为何必要：token 嵌入与位置无关，交换词序不会改变注意力分数；因果掩码虽提供隐式顺序信息，但无法区分距离远近，因此仍需显式位置信息。
- 经典方法：以 GPT-2 为例讲解可学习的绝对位置嵌入——训练时学习一张位置向量表，加到 token 嵌入上。
- RoPE 详解：补上多年读者催更的相对位置嵌入（RoPE）教程，逐步拆解其工作机制。
- 现代架构选择：以 GPT-2 与 MiniMax-M3 对比开篇（M3 用 RoPE 在每个 transformer 块内注入位置信息），并给出 2026 开源权重模型的位置编码方案汇总画廊。
文章是其即将发布的年度 LLM 架构趋势分析的独立基础篇，适合作为《Build a Large Language Model (From Scratch)》的进阶阅读；已熟悉位置编码的读者可直接跳到第 6 节看现代架构的选择。
「模型」频道最新
- 「电话簿训不出莎翁」:数据分布才是 agent 性能的天花板 — gerardsans · 2026-11-15
- 性能之争:harness 不敌数据分布,模型没学过就推不出来 — gerardsans · 2026-11-15
- 安全大佬：传统安全工具已失效，该用 agentic hacker 攻防自己的系统 — Kyrannio · 2026-11-15
- 博主：中国开源模型或成 Local AI 生态的救星 — AIFlow_ML · 2026-11-15
- 观察：各大 AI 模型已集体弃用长破折号 em dash — mark_k · 2026-11-15
- 同一 3D 果冻橙子提示词实测：Fable 5.2 对阵 Opus 5.5 谁更强 — FinanceYF5 · 2026-11-15