Kimi新模型架构曝光：引入线性注意力与跨层残差
burny_tech · x · 2026-07-28
有开发者对 Kimi 的新模型架构进行了分析，指出其引入了两大关键特性：
- 线性注意力变体：类似于带有遗忘门的 LSTM 机制，并与标准注意力机制结合使用（称为 Kimi linear）。
- 注意力残差：一种创新的注意力机制，它将之前所有层的隐藏状态作为当前层注意力的输入，而不仅仅是依赖上一层的输出。
所属事件:Kimi Linear 论文提出高效线性注意力新架构(3 条相关)→
「模型」频道最新
- Kimi K3 成首个通过 Compound 内部基准的开源模型 — peterjliu · 2026-07-29
- Claude Opus 5 登顶 LisanBench，medium 模式更省 token — scaling01 · 2026-07-29
- Bindu Reddy 称 OpenAI 与 Anthropic 在 Kimi K3 上制造恐慌 — bindureddy · 2026-07-29
- Claude 泄露 CoT 被玩成 Anthropic 模型梗图 — OwariDa · 2026-07-29
- Reddit 讨论称 Qwen 可能已难复现 3.6 级别的紧凑质量 — Leflakk · 2026-07-29
- 阿里 Qwen 启动 QwenGrowthPlan 收集 Qwen3.8 真实任务反馈 — pmttyji · 2026-07-29