RoPE 和 ALiBi 可视作带虚实对数衰减的 KDA 变体
teortaxesTex · x · 2026-07-28
这条转发把几种序列建模里的位置编码思路放在同一框架下看：
- RoPE 可被理解为带有虚数对数衰减因子的 KDA。
- ALiBi 则对应带有实数对数衰减因子的 KDA。
- 状态空间模型不需要显式位置嵌入，因为位置信息已经“写进”递归结构里了。
它本质上是一段很短但有研究味道的理论笔记，核心是在尝试统一不同序列模型如何编码位置信息。
所属事件:Kimi K3 架构突破：移除 RoPE 改用 NoPE(3 条相关)→
「研究」频道最新
- Mozilla 和 IBM Research 聚焦评测驱动的 AI 保护栏 — LChoshen · 2026-07-29
- Anthropic Hawk 的 AES 密码分析线程获高度评价 — joshua_saxe · 2026-07-29
- 一份阅读路线图梳理了 Kimi K3 的研究栈 — East-Muffin-6472 · 2026-07-29
- CPU 解码速度或只取决于每 token 激活参数，而非总参数 — WildPino25 · 2026-07-29
- 2010 年代末生成式 AI 回顾：BigGAN、StyleGAN 与旧笔记本 — Merzmensch · 2026-07-29
- ACL 研究发现非英语维基百科质量问题严重 — mdlhx · 2026-07-29