2-bit 草稿+内存驻留残差:让放不进显存的大模型也能投机解码

Happy_Guitar3521 · reddit · 2026-10-22

作者分享一个自己已用于生产应用的推理思路,并开源了 twobit-residual-spec:

核心做法:GPU 上只放模型的 2-bit 副本作 drafter,其余权重(residual,6-8 bit)放系统内存作 verifier;GPU 算 2-bit 部分,CPU 算残差部分,只有激活值走 PCIe,草稿模型不占额外显存——它就是 verifier 的一半。也兼容 MTP。
实测数据(真实权重反量化后在 PyTorch 中运行,暂无 tok/s):
2-bit+8-bit 残差比 Q80 更接近 bf16,KL 散度约为一半;
6-bit 残差可达 Q80 质量,同时从内存少读约 28% 字节;
复用 verifier KV cache 的 2-bit 草稿,每次校验比 Google 官方 Gemma 4 drafter(31B、16 节点树)多接受 25-30% token(5.23 vs 4.20);
CPU kernel 校验 16 个 token 与校验 1 个耗时接近,因为瓶颈在内存带宽。
适用边界:仅在 Q8 放不进 VRAM 时有意义;放得下就直接用 llama.cpp。最接近的工作是 SubSpec,但它用独立 4-bit 副本并经 PCIe 流式传输权重,而非按比特拆分模型。

「Infra」频道最新