Kimi 被描述为带线性注意力和 attention residuals
burny_tech · x · 2026-07-28
Kimi 的结构要点：线性注意力变体和 attention residuals
这条帖子指向一份关于 Kimi 的整理，并摘出了两个技术点：其一是带有“有点像带遗忘机制的 LSTM”的线性注意力变体，同时仍结合普通 attention；其二是所谓的 attention residuals，即对前面所有层的 hidden states 做 attention，而不是只看上一层。
虽然帖文很短，但信息指向的是模型架构细节，而不是空泛评价，因此适合关心 Kimi 设计思路的人阅读。
所属事件:Kimi Linear 论文提出高效线性注意力新架构(3 条相关)→
「模型」频道最新
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16