关于下一代稀疏大模型路线的判断
_xjdr · x · 2026-07-17
作者对某个“TM approach”表示不意外，并称这条路线和自己一直建议西方实验室采用的方案高度一致。
他给出的核心判断是：
- 采用类似 DSV3 shape 的架构，但至少配 4:1 sliding window。
- 用 k2 rollouts 训练，参数规模至少做到 1T。
- 结合 muon 和 mup，并在 GB300 上训练。
- 这本质上就是一种 nmoe 路线。
他还进一步表示：Meta 从一开始就应该在 Llama 4 及后续版本上走这条路；如果要看下一步，他希望看到更大的 3T+ 模型、更高的专家稀疏度、KV cache 压缩、基础模型发布、frontier RL 打磨，以及蒸馏论文。他认为在更高稀疏度下，这类架构短期内不会是主要瓶颈。
所属事件:Kimi K3 上线冲榜，开权重逼近前沿(184 条相关)→
「模型」频道最新
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18
- Grok 一本正经盘点:对亚裔等群体有歧视,对非洲拉美用户没有 — teortaxesTex · 2026-10-18