一个模型的注意力与MoE细节
nrehiew_ · x · 2026-07-16
这条在拆解一个模型的结构设计，重点包括两部分：
Attention 设计
- 使用 sliding window，作者觉得这有点意外，因为团队里有做线性注意力的强项。
- 在 KV 和 residual 上用了基础的 1D convolution。
- 没有 RoPE，而是通过 hidden state 投影后再结合距离相关的 position bias 来形成注意力权重。
MoE 设计
- 模型规模约 975B 参数，41B active，训练了 45T 多模态 token。
- 相比 Dsv3，active 参数大约多 10%，token 数是 3 倍。
- 采用 6 个 routed experts、256 experts，外加 2 个 shared experts；作者认为 2 个 shared experts 比较少见，通常大家只用 0 或 1 个。
整体是非常细的架构观察帖。
所属事件:Inkling 表现与相关架构猜测升温(7 条相关)→
「模型」频道最新
- 仅微调最后两层，模型就能察觉只读探针的存在 — Sauers_ · 2026-10-18
- 付费 Google AI 订阅撞墙：自定义域名账户被要求转个人账号 — ChrisRackauckas · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- 用户追问 OpenAI 成人模式：承诺一年仍未落地 — ___Patrice___ · 2026-10-18
- Polymarket 开盘押注下一款 Gemini 模型由谁发布 — Polymarket · 2026-10-18
- Grok 一本正经盘点:对亚裔等群体有歧视,对非洲拉美用户没有 — teortaxesTex · 2026-10-18