Inkling 2 Small 采纳 Kimi 注意力残差机制,作者拆解实现细节
akbirthko · x · 2026-11-13
Aleksa Gordić 指出 Thinky Machines 刚开源的 Inkling 2 Small 采用了 Kimi 的注意力残差(attn residuals)机制,并详细拆解其力学:
- 记号定义:token 嵌入 E,块内分支输出累加和 B(一个块含 6 层注意力+6 层 MoE),候选集合 C 包括 E、已完成的块和与当前 B;
- 每个分支前,用可学习查询向量 w 对深度方向候选做加权混合:先 RMSNorm 后 softmax,得到加权求和的输入 x;
- 每个分支用一个 4608 维共享查询向量,分支输出 conv4 卷积后只累加进当前块的累加器,并经 conv4 做局部因果、通道独立的混合;
- 每 6 层将 B 存为新候选并重置累加器;最终用一个学习到的查询混合 9 个候选生成输出。
所属事件:Inkling 2 Small 架构细节曝光：注意力残差与混合精度专家(2 条相关)→
「模型」频道最新
- Claude 多版本模型在 Mythos 里敲钟办「五门盛宴」仪式 — repligate · 2026-11-13
- 调查者无法复现 DeepSeek V4.1-Flash 权重种子，转向华为传闻或属实 — TheNormanMu · 2026-11-13
- Sakana AI 宣布从零预训练自研模型 Sawara,12月启动、2027春开源 — tkasasagi · 2026-11-13
- Gemini 疑似把内部思考流直出成正文，当场自我纠正翻车 — steipete · 2026-11-13
- NTU 论文:决策信息集中中层,砍掉最后 6 层不掉点实现自适应计算 — Minh-Anh Nguyen · 2026-11-13
- Sakana AI 宣布从零预训练 Sawara 模型，12月启动小版并计划2027春开源 — SakanaAILabs · 2026-11-13