Inkling 2 Small 推理细节：每层需维护 3-token 滚动卷积缓存
andrew_n_carr · x · 2026-11-13
andrewncarr 指出一个推理实现细节：Inkling 2 Small 中 width-4 的 sconv（短卷积）意味着推理引擎除了 KV cache 之外，还必须在每一层额外维护一个很小的滚动 3-token 卷积缓存。
这提示该架构并非纯标准 transformer，推理栈需要为其非卷积部分做专门的缓存支持，对自建推理引擎者是有用的实现提醒。
「Infra」频道最新
- 调查者无法复现 DeepSeek V4.1-Flash 权重种子，转向华为传闻或属实 — TheNormanMu · 2026-11-13
- OpenCartridge 的安全账：无鉴权、公开存储桶、Docker socket 全开 — maier_ak · 2026-11-13
- camenduru 开源 OpenCartridge：把 AI 模型打包成一键「卡带」 — maier_ak · 2026-11-13
- 在自己的 GPU 上生成游戏素材：OpenCartridge 能做什么、要你信什么 — maier_ak · 2026-11-13
- Sceye 花1亿美元造高空飞艇电脑,SoftBank 订购整队做全日本宽带 — kyliebytes · 2026-11-13
- Torus 数据中心用闭环液冷,宣称无需现场接水 — ccerrato147 · 2026-11-13