Kimi新模型架构曝光：引入线性注意力与跨层残差
burny_tech · x · 2026-07-28
有开发者对 Kimi 的新模型架构进行了分析，指出其引入了两大关键特性：
- 线性注意力变体：类似于带有遗忘门的 LSTM 机制，并与标准注意力机制结合使用（称为 Kimi linear）。
- 注意力残差：一种创新的注意力机制，它将之前所有层的隐藏状态作为当前层注意力的输入，而不仅仅是依赖上一层的输出。
所属事件:Kimi Linear 论文提出高效线性注意力新架构(3 条相关)→
「模型」频道最新
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16
- Rapid-MLX 0.16.2 发布:Apple Silicon 本地跑 Nemotron 3.5 至 120B — kuchaev · 2026-10-16
- 「中国开源末日」说法被质疑：开源模型几乎可自动获得许可证 — eliebakouch · 2026-10-16