Mistral Large 4 自曝架构翻车:注意力省 16 倍 KV cache,Agent 成绩却崩了
_AndrewZhao · x · 2026-11-04
转推 Mistral Large 4 技术报告的解读:ML4 把 MLA(每四层才有一层全注意力,其余用 512 窗口的 SWA)、CLA(隔层共享 KV cache)和 YOCO(后半段全注意力层直接读前半段 KV cache)堆在一起,KV cache 比 全注意力基线缩小 16 倍,预训练阶段的消融和困惑度几乎无损失。
但翻车点在训练后段:midtraining 和 SFT 的早期 cooldown 显示,SWE-bench Verified、BrowseComp 这类需要长上下文推理的 Agent 评测成绩明显回退——同 token 预算下,从全注意力换到 SWA 就开始掉分,叠加 CLA 掉得更狠(报告 Figure 4 曲线清晰展示 MLA > SWA > SWA×YOCO > SWA×CLA > 三者叠加)。
更难得的是 Mistral 坦率记录了修复过程:对旧的预训练权重做"手术",把架构改回全注意力,后来又换用 DSA;只有 YOCO 保留了下来——在 8×10^22 FLOPs 预算下保留与否差别不大。这是个典型案例:预训练里看起来完全没问题的架构创新,未必能活过 midtraining、SFT 和下游 Agent 任务。
「模型」频道最新
- LFM3 1.7B 量化实测：RCO/GSQ 新 GGUF 胜过原厂，非英语掉点更狠 — maximelabonne · 2026-11-04
- DGX Spark 实测五个本地模型：Qwen3.8-27B 30 次编译通过 28 次，速度最快反而垫底 — JeremyCMorgan · 2026-11-04
- 用户实测 Hermes 移动 Agent 后退订 Grok Heavy：可控性完胜 — alexcovo_eth · 2026-11-04
- 团队宣布已用跨分布式 GPU 训练的模型，称效果很好即将公开 — markjeffrey · 2026-11-04
- 研究员求助:我的模型「知道自己在被评测」,eval-aware 问题怎么破 — nrehiew_ · 2026-11-04
- MiniMax H3 Lite/Highspeed 年末五折，Replicate 与 Cloudflare 独家 — ritakozlov · 2026-11-04