Raschka 长文详解现代 LLM 位置编码：RoPE、NoPE 与混合方案全梳理
rasbt · x · 2026-11-15
Sebastian Raschka 发布长文《Understanding Positional Embeddings in Modern LLMs》，系统讲解 LLM 如何编码与处理 token 位置信息，是其 LLM 架构趋势分析的前置篇，也是读者多年催更的相对位置编码教程。
- 通过可视化示例、少量数学和小型 PyTorch 实现逐层拆解各方法；
- 附 2026 开源模型位置编码选型图鉴，按 RoPE-only、RoPE+NoPE、NoPE-only 等分组；
- 统计显示：2025 年 32 个架构中 27 个纯 RoPE；2026 年 8 月后 21 个新架构中纯 RoPE 降至 12 个，NoPE 与混合方案合计近半；
- 讨论了 partial RoPE（只旋转部分子集）等折中做法，并举例 SmolLM3 每四块跳过 RoPE、Inkling 给注意力分数加学习偏置。
所属事件:Raschka 发长文详解现代 LLM 位置编码与 RoPE 实现(2 条相关)→
「模型」频道最新
- Raschka 补齐 RoPE 从零教程，盘点 2026 开源模型位置编码选型 — rasbt · 2026-11-15
- Claude 自主写代码训练语言模型,整个模型塞进一张软盘 — Background-Wafer-548 · 2026-11-15
- 外推预测:GPT-7.5 或于 2027 年 10 月、Claude 7 或于 2028 年 4 月发布 — flowersslop · 2026-11-15
- Pro 用户请愿 Codex 未用额度可滚存：官方 issue 已开 — InTeGeR78 · 2026-11-15
- 疑似 Gemini 4 Krypton 现身 Arena 灰测,一张图跨越 6000 年艺术史 — gaganghotra_ · 2026-11-15
- 「电话簿训不出莎翁」:数据分布才是 agent 性能的天花板 — gerardsans · 2026-11-15