Mistral Large 4 架构拆解：稀疏注意力加古怪 KV/索引器共享

eliebakouch · x · 2026-10-30

总体：Mistral Large 4 开放权重，架构比 Mistral 3「更宽更深」，约 648 亿总参数、每 token 激活 88 亿，72 层、64 头。
全稀疏注意力：类似 V3.2 与 GLM 5.x 的 DSA/MLA 路线，一个小索引器从 2048 个 key 中挑出注意力实际读取的部分（32 头 × 128）；部分层共享 KV 缓存——NoPE 层从第 35 层起共享缓存（省 11%），RoPE 层从第 39 层起索引器共享（省 36% 索引器 FLOPs），形成一种「弗兰肯斯坦」式但相当高效的共享模式。
索引器观察：各层索引器差异很大；GLM 和 DeepSeek 的索引器呈块状结构，而 Mistral 只在后期开始共享 KV 的层略微类似。索引器权重与完整注意力映射出的模式并不一致，这在 DeepSeek/GLM 上不明显。
长上下文两个开关：SSMax 按头学习 logits 缩放，随上下文增长锐化注意力（Llama4/Muse 和多数中国模型没用）；LeRoPE = YaRN + 每 token 学习的频率衰减项，16–17 层起 ×2.5，使每 token 计算量随上下文下降（128k 时约省 45%）。
MoE 与对比：MoE 配置常规（top-8、256 专家），但此处选 top-4、128 专家，推测为稳定性与训练效率；KV 缓存除 MLA 外几乎无压缩，比 DSv4.1 低不少，FLOPs 也不贵。作者结论：这是理解深入的出色发布，祝贺 Mistral。

「模型」频道最新