曝 Mistral Large 4：总参 1T 的 MoE 模型，406GB 权重可部署 4 张 GB300

qtnx_ · x · 2026-11-03

一份被称为「Le Chonk report」的文档流出，附 Mistral Large 4（ML4）论文摘要页，未经 Mistral 官方证实，真实性待查。
摘要称其为 52B 激活 / 1T 总参数的多模态 MoE 模型，面向推理与长程 agent 任务；开发中量化了 KV-cache 压缩对下游 agent 任务的损耗，并通过模型手术 + 稀疏注意力适配来弥补。
训练用可扩展的 agent 流水线自动编写并验证软件工程、网络安全、知识工作环境。
成绩：FrontierCode 2.0 19.7%、Terminal-Bench 4.0 41%、Artificial Analysis Cyber Index 50.9%。
部署：稀疏注意力 + 上下文并行 + prefill-decode 解耦 + 推测解码，校准后的 NVFP4 量化把 checkpoint 压到 606GB、匹配 FP8 评测表现，可在 4 张 GB300 上运行；多教师蒸馏提供高/中/低三档推理强度，可权衡 token 消耗与性能。

「模型」频道最新