Mistral 发布 ML4 技术报告：10 兆瓦训出旗舰模型
Mistral 于 11 月 3 日发布旗舰开放权重模型 ML4（社区戏称 Le Chonk）的技术报告，并预告下一版本已在规划中。Mistral 科学副总裁 Pierre Stock 在访谈中强调「效率写在 Mistral 的 DNA 里」：约 300 人的团队仅用约 10 兆瓦算力（约合 4000 块 H100 或 GB300，帖子中两处表述不同）就从零训练出该模型，远低于竞争对手的算力用量，他还喊话「给他 1GW」的算力。已确认
- Mistral Large 4（ML4）技术报告正式发布，附公开下载链接。
- Pierre Stock 称训练仅用约 10 兆瓦算力从头完成，并称该模型在网络防御与编码方面是最强的开放权重模型（其自称）。
- 报告披露训练采用 AdamW + MLA，数据量约 28T tokens；模型尝试了多项激进架构设计，但在 post-training 阶段付出代价。
- Mistral 联合创始人、首席科学家 Guillaume 转发报告并表示团队对下一版本的计划「不会让你失望」，暗示后续模型还有惊喜。
为什么重要
- 在大厂算力竞赛背景下，Mistral 以约 10 兆瓦算力训出旗舰开放权重模型，为「小算力高效训练」提供了公开案例。
- 多位研究者（如 Nikhil Chandak）指出报告含大量干货：架构决策细节、训练 1T 参数模型时遇到的挑战、预训练代理指标失效的案例，以及对更好 scaling 科学的呼吁——在 LLM 技术报告日益稀缺、公开报告常只是堆砌 benchmark 表格的当下，这份报告被评价为有实质内容、罕见的高质量报告，也被称作「首篇值得细读的 Mistral 论文」。
- 值得注意的是，报告也坦承了设计取舍：如砍 KV-cache 的省显存架构拖累了 SWE-bench 表现。
2026-11-03 ~ 2026-11-03 · 7 条相关
- 第 1 集:Mistral 开源万亿参数旗舰 Large 4(2026-10-29,58 条)
- 第 2 集:Le Chonk 量化版上线，Mac Studio 可本地跑万亿参数(2026-10-29,3 条)
- 第 3 集:Artificial Analysis 评 Mistral Large 4:智能第8,token 效率居开源前沿(2026-10-29,5 条)
- 第 4 集:Mistral Large 4 更新并开放权重，编码追平 GLM-5.3(2026-10-30,8 条)
- 第 5 集:Mistral 开源编码模型 Le Chonk，多项基准超越 Kimi 与 DeepSeek(2026-10-31,3 条)
- 第 6 集:Mistral Large 4 开放权重：1T 参数 MoE 主打代码与网络安全(2026-11-01,9 条)
- 第 7 集:Mistral 编码模型跑分遭质疑，许可证条款引关注(2026-11-01,4 条)
- 第 8 集:Mistral 发布 ML4 技术报告：10 兆瓦训出旗舰模型(2026-11-03,7 条)
一手来源
- Mistral ML4 开源:仅 10 兆瓦算力从头训练,自称网络防御与编码最强开放权重模型 — _AndrewZhao ·
- Mistral Large 4 技术报告正式发布 — _AndrewZhao ·
- Mistral 技术报告披露 1T 参数模型训练难题与 scaling 科学短板 — _AndrewZhao · 2026-11-03
- Mistral 大模型报告:砍 KV-cache 的省显存架构拖累 SWE-bench 表现 — _AndrewZhao · 2026-11-03
- Mistral 科学家 VP：仅用 10 兆瓦算力训出 Le Chonk，喊话给他 1GW — _AndrewZhao · 2026-11-03
- Mistral 发布 Le Chonk 技术报告，被赞为罕见的高质量 LLM 报告 — _AndrewZhao · 2026-11-03
- 【源头】Mistral Large 4 技术报告正式发布 — _AndrewZhao · 2026-11-03
- 【源头】Mistral ML4 开源:仅 10 兆瓦算力从头训练,自称网络防御与编码最强开放权重模型 — _AndrewZhao · 2026-11-03
- Mistral Le Chonk 科学报告发布,团队预告下一版还有惊喜 — _AndrewZhao · 2026-11-03