Inkling 2 Small 架构引热议：594B 参数仅 48 层

新模型 Inkling 2 Small 已开放下载，但讨论热度不高。Sebastian Raschka 发布手绘架构图，称其比预想更有意思；liuliu 也给出架构拆解。该模型采用 MoE 架构，总参数量达 594B，但仅有 48 层，并引入 Attention Residuals（注意力残差）设计，被认为与此前模型相比颇具独特之处。

2026-11-14 ~ 2026-11-14 · 2 条相关