rasbt 绘制 Inkling 2 Small 架构图：594B 参数用注意力残差
rasbt · x · 2026-11-14
Sebastian Raschka 发布了 Inkling 2 Small 的手绘架构图，并指出这是一个比他预想更有意思的模型。
要点：
- 594B 参数，MoE 架构：仅 8 个共享 router 专家加 48 个 router 专家，每 token 只激活 4 个 router 专家，17B 激活参数，无共享专家
- 采用类似 Kimi K3 的 block attention residuals（块间注意力残差），但没有用线性注意力混合，而是结合短卷积、GQA 与滑动窗口注意力
- 支持最长 1M token 上下文，48 个 query heads、8 个 KV heads，词表 200k
- 配图还对比了 Inkling 975B 与 Kimi K3.1 Pro（2.8T）的架构
Raschka 认为这是年底架构趋势分析的绝佳讨论素材。
「模型」频道最新
- Sokoban 推箱子评测：66 关基准让大模型玩经典解谜游戏 — banteg · 2026-11-14
- On-policy蒸馏论文全能，实验室从业者却集体点赞吐槽帖 — teortaxesTex · 2026-11-14
- mitsuhiko:Anthropic 没做图像模型,Claude 写画画代码却惊人地好 — mitsuhiko · 2026-11-14
- 新模型 Inkling 2 Small 架构拆解：48 层加 Attention Residuals — PMinervini · 2026-11-14
- Gemini 密集连发刷新前沿，作者看好未来六个月加速 — iruletheworldmo · 2026-11-14
- 谷歌高管确认 Gemini 4 预训练已启动：迄今最具雄心的一次 — Independent-Wind4462 · 2026-11-14