继续补充MoE配置细节
nrehiew_ · x · 2026-07-16
作者继续补充同一模型的 MoE 设定：
- 总参数约 975B，其中 41B active；
- 训练数据约 45T 个多模态 token；
- 相比 Dsv3，active 参数更多、token 规模也更大；
- 路由专家配置为 6 个 routed experts，配合 256 个 experts 和 2 个 shared experts。
所属事件:Inkling 表现与相关架构猜测升温(7 条相关)→
「模型」频道最新
- Business Standard 订阅宣传含 Gemini，实际却不是能测 AI 的档位 — ChrisRackauckas · 2026-10-18
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- OpenRouter 与 API 现身 Aurora 多个 checkpoint,传为 OpenAI 应对 Fable 5.5 — ChrisGPT · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18