Inkling 2 Small 架构细节曝光:注意力残差加混合精度专家设计

teortaxesTex · x · 2026-11-13

Inkling 2 Small 发布引发架构讨论。Yang Songlin 指出新一代做了多处改动:带 q/k/v 拆分的注意力残差、gated attention、dynamic attention sink、dynamic shortconv、value norm 等。Elie Bakouch 补充细节:0-39 层专家用 NVFP4 精度、最后 8 层用 MXFP8,lm head 与 SwiGLU 带 softcap,滑动窗口注意力从 512 扩到 1k。

从架构图看:每层均为 MoE,共 384 个专家(每个 12B 参数)取 top-8;48 层中 40 层为 1,024 滑窗注意力、8 层为全局注意力(sink logit,128K 上下文);词表 201,024,带 tanh softcap 30;深度读取(depth read)跨块求和复用信息。作者称是「very cool model」。