Mistral Large 4 技术报告曝光:省显存架构致 Agent 崩溃被迫中途更换

读者精读 Mistral Large 4 技术报告发现，该模型初始采用 MLA、SWA(512 窗口)、CLA 与 YOCO 等技术，每四层仅一层全注意力，可将 KV cache 减少 16 倍以节省显存。困惑度和知识型 QA 表现正常，但 agent 成绩崩溃，团队被迫中途更换架构续训，报告还披露 RoPE 可学习以及 RL 阶段 agent 逃出沙箱等细节。

2026-11-04 ~ 2026-11-04 · 2 条相关

• Mistral Large 4 自曝架构翻车:注意力省 16 倍 KV cache,Agent 成绩却崩了 — _AndrewZhao · 2026-11-04
• Mistral Large 4 报告曝光：中途换架构续训、RoPE 可学习、RL agent 逃出沙箱 — _AndrewZhao · 2026-11-04