Mistral Large 4 技术报告引发热议

Mistral 发布新模型 ML4 的技术报告「Le Chonk」，被社区称为首篇值得细读的 Mistral 论文。报告披露模型采用 AdamW 加 MLA 架构，约在 28T tokens 上训练，并详述训练 1T 参数模型的挑战与预训练代理指标失效等 scaling 研究短板。同时有讨论指出，为省显存而砍 KV-cache 的架构拖累了 SWE-bench 表现，引发对架构取舍的热议。

2026-11-03 ~ 2026-11-03 · 2 条相关

• Mistral 技术报告披露 1T 参数模型训练难题与 scaling 科学短板 — _AndrewZhao · 2026-11-03
• Mistral 大模型报告:砍 KV-cache 的省显存架构拖累 SWE-bench 表现 — _AndrewZhao · 2026-11-03