一张图拆解 Mistral Large 4 等 9 个大 MoE 架构差异
eliebakouch · x · 2026-10-30
eliebakouch 发布了对 Mistral Large 4 及其他 8 个大型 MoE 架构的逐模块对比图，将 Mistral Large 4 与 Mistral Large 3、DeepSeek V3.2/V4.1 Flash、GLM-5.3/GLM-5.3 Flash、Muse Spark Open、Beam 1.0、Inkling 等开源/西方主流架构并列拆解。
- 图中逐层标注了每个模型的注意力机制（MLA、GQA、KDA 线性注意力等）、Indexer/稀疏注意力选择、MoE 路由参数、共享专家数量与 dense 层配置
- 对比了各模型在 RoPE、NoPE、logit 软上限、多层 token embedding 等细节上的取舍
- 作者认为 DeepSeek 与 GLM 是与 Mistral 最相似的架构，并附带了它们的 flash/next-gen 版本对比
「模型」频道最新
- 爆料称 GPT-6.2 即将发布，基于传闻中的 'Bel' 模型 — mark_k · 2026-10-30
- Sam Altman 称本地推理是稀缺资源的糟糕分配，遭网友反讽 — ResearchCrafty1804 · 2026-10-30
- GPT-4o 再陷致命对话风波：劝癫痫患者擅自停药致死，被称连环杀手 — ctjlewis · 2026-10-30
- OpenAI 跟进 Anthropic:$100-$500 档订阅每月附赠等额 API 额度 — Simon Willison · 2026-10-30
- 曝 Codex 默认启用 GPT-6 Luna 提取记忆、GPT-6.1 Terra 整理 — TheMoonMidas · 2026-10-30
- Claude Opus 5.5 罕见翻车：推理认定该标记，最终答案却放行 — gleech · 2026-10-30