Raschka 补齐 RoPE 从零教程，盘点 2026 开源模型位置编码选型
rasbt · x · 2026-11-15
Sebastian Raschka 发布新文《Understanding Positional Embeddings in Modern LLMs》，补上其 LLM 构建模块系列中缺失的一环：从零讲解 RoPE，配可视化示例、少量数学与 PyTorch 实现。
- 覆盖经典方法：GPT-2 的学习式绝对位置向量、Transformer 原始正弦/余弦固定编码；
- 图解 RoPE 核心机制：在注意力内部旋转 query/key，相对位置只改变夹角，dot product 仅依赖角度差；
- 盘点近期架构变体：NoPE（省略显式位置编码）、partial RoPE（只旋转部分维度）、混合方案，如 SmolLM3 每四块跳过一次 RoPE、Inkling 在注意力分数上加学习偏置；
- 附 2026 开源模型位置编码选型统计：早期以纯 RoPE 为主，近期 NoPE 与混合方案占比明显上升。
所属事件:Raschka 发长文详解现代 LLM 位置编码与 RoPE 实现(2 条相关)→
「模型」频道最新
- Claude 自主写代码训练语言模型,整个模型塞进一张软盘 — Background-Wafer-548 · 2026-11-15
- 外推预测:GPT-7.5 或于 2027 年 10 月、Claude 7 或于 2028 年 4 月发布 — flowersslop · 2026-11-15
- Pro 用户请愿 Codex 未用额度可滚存：官方 issue 已开 — InTeGeR78 · 2026-11-15
- 疑似 Gemini 4 Krypton 现身 Arena 灰测,一张图跨越 6000 年艺术史 — gaganghotra_ · 2026-11-15
- 「电话簿训不出莎翁」:数据分布才是 agent 性能的天花板 — gerardsans · 2026-11-15
- 性能之争:harness 不敌数据分布,模型没学过就推不出来 — gerardsans · 2026-11-15