技术讨论：attention residuals 是否仍受位置嵌入影响
stochasticchasm · x · 2026-07-28
- 作者提出一个想法：attention residuals 可能也属于 NoPE，并疑问位置嵌入是否还会影响这些残差。
- 回复则指出，过去一些 linear attention + NoPE 的混合方案，在全局层里仍然使用过部分 RoPE，因此这是否是“第一个”类似混合结构还要再看。
- 这是一段围绕位置编码如何影响注意力残差路径的技术讨论，信息量集中在机制判断上。
所属事件:K3与Attention Residuals推动大模型可解释性(3 条相关)→
「研究」频道最新
- 作者称 KDA 低秩 gate 不能解决 attention sink — stochasticchasm · 2026-07-28
- Kimi K3 把 KDA gate 改成全秩，低秩被指没解决 attention sink — suchenzang · 2026-07-28
- 斯坦福用 AI 扫描 5 亿词州法，帮政府清理冗余条文 — StanfordHAI · 2026-07-28
- Kimi K3 报告提出 SiTU-GLU：可控上界的门控近似 SwiGLU — stochasticchasm · 2026-07-28
- Kimi K3 的 MoE 路由可能推高专家并行通信 — stochasticchasm · 2026-07-28
- Kimi K3 发现 16 个新漏洞并领先 GLM-5.2 — zephyr_z9 · 2026-07-28