2-bit 草稿加内存残差，小显存也能跑大模型投机解码

开发者分享并开源了 twobit-residual-spec，一个已用于生产的投机解码思路，面向 Q8 权重塞不进显存的场景（如 16-32GB 显卡跑 27B+ 模型）。核心做法是 GPU 上只保留模型的 2-bit 副本作为 drafter，残差权重驻留内存，从而让放不进显存的大模型也能进行投机解码。

2026-10-22 ~ 2026-10-22 · 2 条相关