Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存
teortaxesTex · x · 2026-11-22
X 用户拆解了新模型 Inkling 2 mini 为何能在 1M token 上下文下保持较小的 KV 缓存:
- 48 层注意力访问中,只有 8 层保留完整缓存:其中 4 层为全注意力层(第 5、11、17、23 层,0 索引),另外 20 层仅使用 1024 token 的滑动窗口。
- 第 11、17 层位于循环体内部,各运行 3 次,因此全缓存层共 8 次访问。
- 按 fp8 计算,每 token 约 16 KiB,1M 上下文约 16 GiB;若 48 层全部保留完整缓存,则需要约 96 GiB。
作者原计划用一张 4090 同时服务 4 个会话,但对比某 552B MoE 模型(性能好 18 倍)后认为这一预训练设计仍有差距。
「Infra」频道最新
- 谷歌 AI 会员每月白送云端赠金:Pro 月送 10 刀,Ultra 20x 月送 100 刀 — lxfater · 2026-11-22
- 自建 llama.cpp 分支让 12GB 显卡跑 64K 上下文,解码翻倍预填快 17 倍 — Puzzled-Stick9170 · 2026-11-22
- 马斯克:算力将优先投向 Optimus,汽车 AI 维持 AI4 — CyberRobooo · 2026-11-22
- Comet 修复八处瓶颈,Opik 数据摄取提速 30 倍 — dl_weekly · 2026-11-22
- Rust 版 Code Mode 开源:号称砍掉 60% Agent 工具调用 token 开销 — legend-of-alan · 2026-11-22
- AMD Instinct GPU 实现确定性恢复,排查 vLLM 训练事故更快 — kbesplv · 2026-11-22