Mistral Large 4 技术报告曝光:1T 总参 MoE,量化后 606GB 可跑 4 张 GB300
_AndrewZhao · x · 2026-11-04
Mistral 将 Le Chonk(Mistral Large 4)的构建故事以 alphaXiv 独家技术报告形式发布。关键信息:
- 架构:52B 激活参数、1T 总参数的多模态 MoE 模型,面向推理与长程 agent 任务
- 构建方法:用可扩展的 agent 流水线生成并验证可执行环境,覆盖软件工程、网络安全与知识工作
- 成绩:FrontierCode 2.0 19.7%、Terminal-Bench 4.0 41%、Artificial Analysis Cyber Index 50.9%
- 部署:稀疏注意力 + 上下文并行 + prefill-decode 分离 + 投机解码;NVFP4 量化将 checkpoint 压到 606GB 且评测持平 FP8,可在 4 张 GB300 GPU 上部署
- 多教师蒸馏提供高/中/低三档推理力度,可权衡 token 消耗与性能
所属事件:Mistral Large 4 开源并发布技术报告：10 兆瓦训出 1T 参数 MoE(15 条相关)→
「模型」频道最新
- 网友催更 Kimi K3.1:问月之暗面模型权重何时放出 — bgmshana · 2026-11-04
- Muse Spark Open 许可证藏着坑：蒸馏产物也算衍生模型 — aidenclarke_12 · 2026-11-04
- 腾讯 Hy4 智能体硬测仍逊 GPT-6.1,Kimi K3.1 Pro 两项反超 — heyshrutimishra · 2026-11-04
- 腾讯 Hy4 智能体自训小模型超越官方基线,称迈向递归自我改进 — heyshrutimishra · 2026-11-04
- Hy4 金融实测：579 项真实任务开源第一，幻觉率降至 5.45% — heyshrutimishra · 2026-11-04
- 腾讯混元预告即将开放接入 LMArena 评测 — TencentHunyuan · 2026-11-04