Mistral Large 4 技术报告发布:1T 参数 MoE,NVFP4 量化后仅 606GB
_AndrewZhao · x · 2026-11-03
Mistral Large 4(ML4)技术报告发布:52B 激活 / 1T 总参数的多模态混合专家模型,面向推理与长程智能体任务。
关键技术点:
- 量化了 KV-cache 压缩对下游智能体任务的性能损失,通过模型手术加稀疏注意力适配来解决
- 构建了可扩展的 agent 流水线,自动编写并验证软件工程、网络安全、知识执行等可执行环境
- 成绩:FrontierCode 2.0 得 19.7%,Terminal-Bench 4.0 得 41%,Artificial Analysis Cyber Index 得 50.9%
- 校准 NVFP4 量化将检查点压缩到 606GB、效果对齐 FP8 参考,可在 4 张 GB300 GPU 上部署
- 多教师蒸馏提供高/中/低三档推理力度,让用户权衡 token 消耗与性能
所属事件:Mistral Large 4 开放权重:1T 参数 MoE 主打代码与网络安全(9 条相关)→
「模型」频道最新
- Mistral Le Chonk 科学报告发布,团队预告下一版还有惊喜 — _AndrewZhao · 2026-11-03
- Mistral ML4 开源:仅 10 兆瓦算力从头训练,自称网络防御与编码最强开放权重模型 — _AndrewZhao · 2026-11-03
- Dessa 被指印证 Karpathy「召唤幽灵」类比:Jack 直言模型速度很快 — analisereal · 2026-11-03
- Together CEO:真正目标是 token maxing 而非 cost maxing — togethercompute · 2026-11-03
- Dream-1 零样本机器人实测:100 集全公开,会纠错但听不懂指令 — paigeinsf · 2026-11-03
- 爆料称 DeepSeek 或先发 V4.1F/V4.2F,Pro 版仍需等待 — teortaxesTex · 2026-11-03