Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存

teortaxesTex · x · 2026-11-22

X 用户拆解了新模型 Inkling 2 mini 为何能在 1M token 上下文下保持较小的 KV 缓存:

作者原计划用一张 4090 同时服务 4 个会话,但对比某 552B MoE 模型(性能好 18 倍)后认为这一预训练设计仍有差距。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →