新模型 Inkling 2 Small 架构拆解：48 层加 Attention Residuals
PMinervini · x · 2026-11-14
liuliu 指出 Inkling 2 Small 已开放下载但几乎无人讨论，并给出架构分析：
- Attention Residuals：模型仅 48 层（对比 Hy4 的 78 层），attnres 覆盖 8 个 block、每块 6 层；
- 新的 attention sink / 门控注意力：此前见过 sigmoid 门控注意力，但这次的 attention sink 是 per-head projected value（逐 token 逐头），而非仅 per-head 常量；
- 沿袭 Inkling 一代的相对偏置、短卷积（canon layer）等设计。
作者呼吁社区像分析 DeepSeek 的 Sparse Attention 等架构创新一样关注这个模型。
所属事件:Inkling 2 Small 架构引热议：594B 参数仅 48 层(2 条相关)→
「模型」频道最新
- rasbt 绘制 Inkling 2 Small 架构图：594B 参数用注意力残差 — rasbt · 2026-11-14
- Sokoban 推箱子评测：66 关基准让大模型玩经典解谜游戏 — banteg · 2026-11-14
- On-policy蒸馏论文全能，实验室从业者却集体点赞吐槽帖 — teortaxesTex · 2026-11-14
- mitsuhiko:Anthropic 没做图像模型,Claude 写画画代码却惊人地好 — mitsuhiko · 2026-11-14
- Gemini 密集连发刷新前沿，作者看好未来六个月加速 — iruletheworldmo · 2026-11-14
- 谷歌高管确认 Gemini 4 预训练已启动：迄今最具雄心的一次 — Independent-Wind4462 · 2026-11-14