新模型架构拆解:比 ML3 更宽更深,top-4/128 专家,MLA 压缩 KV cache 效果惊人
eliebakouch · x · 2026-10-30
eliebakouch 补充发布对其的模型架构分析(此前帖子漏了一部分):
- 模型整体形状比小得多的 ML3 更宽也更深,与其他模型有对比图。
- KV cache 体积上除 MLA 外没有压缩,DSV4.1(DeepSeek V4.1)在图里明显低于其他模型,非常亮眼;FLOPs 上仍相对昂贵(图均已归一化)。
- MoE 配置接近标准但反常规:常见是 top-8 专家 + 256 个专家,他们选了 top-4 + 128 个专家,推测是为稳定性和训练效率。
总体评价:这是一个很棒的发布,能看出团队花时间理解了架构动力学与权衡,最终采用了略带「弗兰肯斯坦」式的 KV/indexer 共享模式,但相当高效。
「模型」频道最新
- 开源端侧模型 Edge0:35B 参数离线跑 iPhone,仅需 1-2.5GB 内存 — FinanceYF5 · 2026-10-30
- Particle-1 上线 Capy:1M 上下文编程模型,每百万 token 仅 $0.25/$1 — garrytan · 2026-10-30
- 用户吐槽 ChatGPT 网安过滤器:被拒后提示语误导用户申请 Daybreak — jd_pressman · 2026-10-30
- Shift-1 编码路由器发布:agent 成本降 55% 质量不掉 — ypatil125 · 2026-10-30
- Artificial Analysis 发布 Search API 榜单：26 家产品横向评测 — ArtificialAnlys · 2026-10-30
- Mistral Large 4 架构拆解：稀疏注意力加古怪 KV/索引器共享 — eliebakouch · 2026-10-30