Mistral Large 4 发布：1T 参数 MoE，KV-cache 压缩 16 倍反伤 agentic 能力
_AndrewZhao · x · 2026-11-03
Mistral 在 alphaXiv 独家发布 Mistral Large 4 技术报告：52B 激活 / 1T 总参数的多模态 MoE 模型，主打推理与长程 agentic 任务。
关键技术发现：激进压缩 KV-cache（最初 16x）会损害长上下文 agentic 任务表现——即使语言建模成绩看起来不变，模型从很早的上下文取回信息的能力已受损。修复方案是恢复更多层的全注意力，再引入 DeepSeek Sparse Attention 只选上下文中最相关的 2048 个 token。
- 成绩：Terminal-Bench 4.0 得 41%，FrontierCode 2.0 得 19.7%，Artificial Analysis Cyber Index 50.9%
- 推理侧：稀疏注意力 + 上下文并行优化 + prefill-decode 分离 + 投机解码
- NVFP4 量化后 checkpoint 仅 606GB、与 FP8 参考成绩持平，4 张 GB300 即可部署
- 通过多教师蒸馏提供高/中/低三档推理强度，可权衡 token 消耗与性能
所属事件:Mistral 发布 ML4 技术报告：10 兆瓦训出 1T 参数旗舰(8 条相关)→
「Infra」频道最新
- FLAMIA：MXFP8 注意力内核加速 Blackwell 训练，防因果泄漏支持变长打包 — yresearch · 2026-11-03
- 全球超 2500GW 发电项目卡在并网队列，2025 年能源科技吸金近 2000 亿美元 — ingliguori · 2026-11-03
- DataTalks.Club 实操工作坊：CPU 跑 Agent，GPU 只按需调用生成工具 — Al_Grigor · 2026-11-03
- Factory 重构 Droid 编码 agent：跑进客户自有云，BYOC+BYOK 并计划开源计算层 — AI Engineer · 2026-11-03
- 曝 DeepSeek V5 将用华为昇腾芯片预训练，Ascend 960DT 预计 2027 Q1 就绪 — teortaxesTex · 2026-11-03
- 韩产 HBM 竟被走私入境，The Information 起底对华芯片暗流 — AccBalanced · 2026-11-03