Kimi K3与Delta Attention
Gauri_the_great · x · 2026-07-17
引用内容提到 Kimi K3 是一个 2.8 万亿参数、目前已发布的最大开权重模型之一。
更值得关注的是它的 Attention Residuals / Delta Attention 思路：不再把残差只看成来自上一层的固定恒等通路，而是让每一层可以从多个更早的层中选择性检索表示。这样，深度网络的中间层更像一个可寻址记忆，每个中间层都可能成为后续计算要调用的“记忆槽”。
发帖人最后表示，自己很期待 @rasbt 对这个架构的博客解读。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「模型」频道最新
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18
- Grok 一本正经盘点:对亚裔等群体有歧视,对非洲拉美用户没有 — teortaxesTex · 2026-10-18
- 「刷榜式 demo」鉴别法：换用 Mirror's Edge 场景测模型泛化 — teortaxesTex · 2026-10-18