vLLM 支持 Engram 条件记忆，51B 参数查找表无需常驻显存

solyarisoftware · x · 2026-11-01

vLLM 采用了 Strata 已验证的按行读取思路，为 Qwen3.8-Flash-Next 的 51B 参数 PLE n-gram 查找表（Engram 条件记忆模块）实现按需加载：不再要求整表常驻 GPU 显存或锁页内存，而是保留在原始 safetensors 文件中，推理时根据当前 token 上下文定位所需行，仅把命中行拷贝到小型 GPU 缓冲供解码使用。

配图显示，Engram 是挂在 transformer 特定层上的条件记忆模块：将前几个 token 哈希进大型静态嵌入表，检索行按匹配程度门控融合进隐藏态——类似 MoE 用条件计算扩容，Engram 通过条件记忆扩容，参数只被查表不参与计算，容量增长而单 token 成本保持 O(1)。vLLM 在 checkpoint 声明含 Engram 层时自动启用，无需额外启动参数，并可控制内存占用与多 GPU 拓扑。