Kimi披露新架构Attention Residuals
firstadopter · x · 2026-07-19
Kimi / Moonshot 放出了新一代架构预告，核心点是 Attention Residuals。
图里展示了三部分内容：
- 新架构的结构示意：Standard Residual、Full Attention Residual、Block Attention Residual
- 预训练表现：给出 scaling law、validation loss 曲线，说明新结构训练更优
- 基准结果：在 MMLU、GPQA、BBH、GSM8K、CMMLU 等多个 benchmark 上，相比 baseline 有不同幅度提升，图中标注了总计约 +7.5 / +3.6 / +3.1 的增益
这条信息的重点不是产品功能，而是模型架构与训练效果本身；附带的代码与技术报告链接也说明它是一个技术发布。
所属事件:Kimi K3 架构预告：主打原生创新与注意力残差(3 条相关)→
「模型」频道最新
- 传 OpenAI 在 Astra 中使用 neuralese 循环变换器，新的 scaling 轴浮出水面 — imadade · 2026-09-03
- XBOW 团队拿下今年首个 Chrome 全链漏洞利用奖励 — moyix · 2026-09-03
- Gemini 3.8 Flash 的 Pareto 最优地位仅维持了 5 小时 18 分钟 — alejandroll10 · 2026-09-03
- 双 DGX Spark 实测：GLM-5.3-Flash 写作与视觉胜过 DeepSeek-V4-Flash — kuhunaxeyive · 2026-09-03
- Anthropic 商务智能体只建购物车交人工结账,被赞退款风控思路对 — HaktanSuren · 2026-09-03
- Qwen3.8 27B Q8 翻车:12 万 token 后发现根本没读计划,自行实现别的功能 — KingCpzombie · 2026-09-03