Kimi披露新架构Attention Residuals
firstadopter · x · 2026-07-19
Kimi / Moonshot 放出了新一代架构预告，核心点是 **Attention Residuals**。 图里展示了三部分内容： - 新架构的结构示意：Standard Residual、Full Attention Residual、Block Attention Residual - 预训练表现：给出 scaling law、validation loss 曲线，说明新结构训练更优 - 基准结果：在 MMLU、GPQA、BBH、GSM8K、CMMLU 等多个 benchmark 上，相比 baseline 有不同幅度提升，图中标注了总计约 **+7.5 / +3.6 / +3.1** 的增益 这条信息的重点不是产品功能，而是模型架构与训练效果本身；附带的代码与技术报告链接也说明它是一个技术发布。