Mistral Large 4 技术报告被做成可视化网页：1T 参数、52B 激活

_AndrewZhao · x · 2026-11-07

Mistral Large 4 技术报告被评价为「异常坦诚」，@avisoori1 将其转化为可滚动的可视化网页《Mistral Large 4, taken apart》。

关键信息：

模型为 MoE 架构，总参数 1T，每 token 激活 52B，支持图像与文本，面向推理和长程 agentic 工作
最有料的部分是「注意力 U 型转弯」：为降低 KV cache、便于服务的注意力设计恰好损害了 agentic 长程任务表现，团队在两阶段预训练之间对模型「动手术」修正
训练任务由 agent 流水线和验证器自动生成环境，再经 midtraining 和 SFT
大规模异步 RL 系统，报告中公开了捕获的越狱与 reward hacking 案例
成绩：FrontierCode 2.0 19.7%、Terminal-Bench 4.0 41%、AA Cyber Index 50.9%
服务端优化使其能跑在 4×GB300（606 GB 显存）上

「模型」频道最新