Kimi 被描述为带线性注意力和 attention residuals
burny_tech · x · 2026-07-28
Kimi 的结构要点：线性注意力变体和 attention residuals
这条帖子指向一份关于 Kimi 的整理，并摘出了两个技术点：其一是带有“有点像带遗忘机制的 LSTM”的线性注意力变体，同时仍结合普通 attention；其二是所谓的 attention residuals，即对前面所有层的 hidden states 做 attention，而不是只看上一层。
虽然帖文很短，但信息指向的是模型架构细节，而不是空泛评价，因此适合关心 Kimi 设计思路的人阅读。
「模型」频道最新
- CohereLabs 在 Hugging Face 上放出 North-Mini-Code-1.0-eagle — jacek2023 · 2026-07-28
- WeirdML v2 扩展到 19 项任务并加入成本对比 — scaling01 · 2026-07-28
- 用户称 Sonnet 5 纠正后仍死守旧上下文 — bushibuilds · 2026-07-28
- 网友讨论 ChatGPT 网页搜索能否读到付费论文 — Zeugma91 · 2026-07-28
- 一张 ChatGPT 截图显示了一个无上下文的小异常 — Puzzled_North_8862 · 2026-07-28
- Kimi K3 被吐槽“没有护栏”的梗帖 — yacinelearning · 2026-07-28