Kimi K3与Delta Attention
Gauri_the_great · x · 2026-07-17
引用内容提到 Kimi K3 是一个 2.8 万亿参数、目前已发布的最大开权重模型之一。
更值得关注的是它的 Attention Residuals / Delta Attention 思路：不再把残差只看成来自上一层的固定恒等通路，而是让每一层可以从多个更早的层中选择性检索表示。这样，深度网络的中间层更像一个可寻址记忆，每个中间层都可能成为后续计算要调用的“记忆槽”。
发帖人最后表示，自己很期待 @rasbt 对这个架构的博客解读。
所属事件:Kimi K3 引爆中国前沿模型再评估(94 条相关)→
「模型」频道最新
- 传 OpenAI 在 Astra 中使用 neuralese 循环变换器，新的 scaling 轴浮出水面 — imadade · 2026-09-03
- XBOW 团队拿下今年首个 Chrome 全链漏洞利用奖励 — moyix · 2026-09-03
- Gemini 3.8 Flash 的 Pareto 最优地位仅维持了 5 小时 18 分钟 — alejandroll10 · 2026-09-03
- 双 DGX Spark 实测：GLM-5.3-Flash 写作与视觉胜过 DeepSeek-V4-Flash — kuhunaxeyive · 2026-09-03
- Anthropic 商务智能体只建购物车交人工结账,被赞退款风控思路对 — HaktanSuren · 2026-09-03
- Qwen3.8 27B Q8 翻车:12 万 token 后发现根本没读计划,自行实现别的功能 — KingCpzombie · 2026-09-03