Kimi披露新架构Attention Residuals
firstadopter · x · 2026-07-19
Kimi / Moonshot 放出了新一代架构预告，核心点是 Attention Residuals。
图里展示了三部分内容：
- 新架构的结构示意：Standard Residual、Full Attention Residual、Block Attention Residual
- 预训练表现：给出 scaling law、validation loss 曲线，说明新结构训练更优
- 基准结果：在 MMLU、GPQA、BBH、GSM8K、CMMLU 等多个 benchmark 上，相比 baseline 有不同幅度提升，图中标注了总计约 +7.5 / +3.6 / +3.1 的增益
这条信息的重点不是产品功能，而是模型架构与训练效果本身；附带的代码与技术报告链接也说明它是一个技术发布。
所属事件:Kimi K3 架构预告：主打原生创新与注意力残差(3 条相关)→
「模型」频道最新
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18
- Grok 一本正经盘点:对亚裔等群体有歧视,对非洲拉美用户没有 — teortaxesTex · 2026-10-18
- 「刷榜式 demo」鉴别法：换用 Mirror's Edge 场景测模型泛化 — teortaxesTex · 2026-10-18