Mistral 大模型报告:砍 KV-cache 的省显存架构拖累 SWE-bench 表现
_AndrewZhao · x · 2026-11-03
Mistral 新模型（ML4）技术报告「Le Chonk」引发热议，被称「首篇值得细读的 Mistral 论文」：- 训练用 AdamW + MLA，约 28T tokens；尝试了多项激进设计，但在 post-training 阶段付出了代价。报告详述了关键教训：为压缩 KV-cache 采用的 SWA（512 窗口）+ CLA（跨层共享 KV）+ YOCO 组合把 cache 降到全注意力的 1/16，预训练指标几乎无损；但中间 checkpoint 的 SFT 冷启动显示 SWE-bench Verified、BrowseComp 等 agentic 长上下文评测明显回退，且从全注意力→SWA→CLA 逐级恶化。团队随后做「模型手术」移除 KV 压缩（从最近的自持 KV 长层复制 KV-producer 权重），8×10^22 FLOPs 规模全量手术，但全尺寸模型因 scaling 负结果保留了 YOCO，并加入 LeRoPE 与 SSMax。作者赞赏这种公开失败细节的开放态度。
所属事件:Mistral Large 4 技术报告引发热议(2 条相关)→
「模型」频道最新
- yoavgo:基于权重解读网络的实验令人印象深刻,从零写权重反而一般 — yoavgo · 2026-11-03
- Nace 发布金融决策模型 Drex for Finance:48 项基准 85.7% 准确率超 GPT-6 Luna 14.8 个点 — testingcatalog · 2026-11-03
- Mistral 科学家 VP：仅用 10 兆瓦算力训出 Le Chonk，喊话给他 1GW — _AndrewZhao · 2026-11-03
- SKY-001 完整技术报告公布 — rohanpaul_ai · 2026-11-03
- 传 11 月 AI 发 model 大月：GPT-6.2、Claude Opus 5.6 等八款传闻窗口 — mark_k · 2026-11-03
- ML4 技术报告发布：预训练架构与 agentic 性能的交互 — Fluke_Ellington · 2026-11-03