Mistral Large 4 开源权重,全稀疏注意力架构遭逐层拆解
giffmana · x · 2026-10-30
Mistral 发布开源权重新模型 Le Chonk（Mistral Large 4），主打 agentic coding 与网络安全：在 Cognition 的 FrontierCode 开源模型中排名第一，网络防御能力经 CrowdStrike、Cloudflare 等厂商实测。
研究者 eliebakouch 随即拆解其架构：
- 全稀疏注意力（DSA），与 DeepSeek V3.2、GLM 5.X 同路线；第 35 层后 NoPE 层共享 KV cache，第 17 层起 RoPE 层共享 indexer。
- indexer 采用类 MLA/DSA 结构但不下投影 q，改为加 norm。
- 与 GLM/DeepSeek 不同，Mistral 各层 indexer 差异很大，且 indexer 与全注意力图谱差异显著（GLM/DeepSeek 中二者高度相似）。
- 配图还对比了 KV cache 开销（288k 上下文约 4.7%）与每 token 计算量，显示其 Pareto 效率。
所属事件:Mistral 开源万亿参数 Large 4：登顶开源榜单并大幅降价(46 条相关)→
「模型」频道最新
- NVIDIA 开源 Nemotron 3.5 检索全家桶:8B Embed/Rerank 加多模态 Parse — NVIDIAAI · 2026-10-30
- 用户求 Gemini 修发型被拒：「我只能生成文本」 — MrGreq · 2026-10-30
- 张一鸣罕见发声：接受 Seed 短期落后，反对蒸馏,要追智能上限 — vista8 · 2026-10-30
- Anthropic 官宣:用量上限恢复双倍,并启动体验专项改进 — craigsdennis · 2026-10-30
- Bindu Reddy:X 社区过度吹捧编码模型，Argon、Astra 被低估 — bindureddy · 2026-10-30
- 实测推文 AI 检测误报率低于千分之一,手写帖仍遭误判 — ctjlewis · 2026-10-30