RoPE 和 ALiBi 可视作带虚实对数衰减的 KDA 变体
teortaxesTex · x · 2026-07-28
这条转发把几种序列建模里的位置编码思路放在同一框架下看：
- RoPE 可被理解为带有虚数对数衰减因子的 KDA。
- ALiBi 则对应带有实数对数衰减因子的 KDA。
- 状态空间模型不需要显式位置嵌入，因为位置信息已经“写进”递归结构里了。
它本质上是一段很短但有研究味道的理论笔记，核心是在尝试统一不同序列模型如何编码位置信息。
所属事件:Kimi K3 架构突破：移除 RoPE 改用 NoPE(3 条相关)→
「研究」频道最新
- q-Neurons：用随机 q 导数激活函数提升神经网络性能 — FrnkNlsn · 2026-09-23
- 曝 OpenAI 将办期刊:内部模型多 agent 评审,冲击 ML 会议 — kfountou · 2026-09-23
- 耶鲁博士生开源顶会论文画图脚本，还能接入 Claude Code 当 Skill — burny_tech · 2026-09-23
- AI 在 ForecastBench 上追平超级预测员，10 月将再战 — burny_tech · 2026-09-23
- 几句 prompt 让 Opus 用 Lean 形式化验证 Agent SDK,产出 16 个修 bug PR — bcherny · 2026-09-23
- 数学家群体才是 AI 数学突破的幕后功臣 — tak3sh8 · 2026-09-23