2-bit 权重放显存+残差放内存：让放不下的模型也能投机解码
Happy_Guitar3521 · reddit · 2026-10-22
作者分享一个未完成的投机解码（speculative decoding）思路，面向 Q8 权重塞不进显存的用户（如 16-32GB 卡跑 27B+ 模型）：
- 核心设计：GPU 上只放 2-bit 压缩副本做草稿模型，系统内存里存残差 R=W−Ŵ（6-8bit）作为验证器的一部分；验证时 GPU 算 Ŵx、CPU 算 Rx，只有激活值跨 PCIe，一次批量重打分整个候选树。
- 实测数据（Qwen3.5-4B、Gemma 4 12B/31B，greedy 解码）：该验证器精度超过 Q80，对 bf16 的 KL 散度约为一半；读取验证器精确 KV cache 的 2-bit 草稿，每步接受 token 数比 Google 官方 Gemma 4 drafter 高 25-30%；CPU kernel 让验证 16 个 token 的成本约等于验证 1 个。
- 关键技巧：用 chat 数据而非 C4 做校准，草稿接受率提升 1.37 倍（波兰语 prompt 上从 1.22 升到 3.03 tokens）；残差在相同旋转基下用均匀网格优于 Lloyd-Max。
- 作者没时间写完整引擎，附了完整 POC 配方，欢迎有人接手。适用边界：Q8 能塞进显存的场景直接用 llama.cpp 即可。
「Infra」频道最新
- 韩 neocloud Elice 较 IPO 低点反弹 68%,主流媒体却只字不提 — firstadopter · 2026-10-22
- Berth v0.3.4:一键把 GPU 借给 Windows 虚拟机再安全归还 — Distinct-Pie2389 · 2026-10-22
- 继西门子 cuLITHO 后 Synopsys 也采用 CUDA-X，英伟达 GPU 渗透 EDA 领域 — pstAsiatech · 2026-10-22
- 投资者观望 IPO，英伟达出手 backing GPU 云商 Firmus — pstAsiatech · 2026-10-22
- 开发者呼吁 AWS 开放算力市场,点名 SF Compute 转租模式 — arthurcolle · 2026-10-22
- DeepSeek V4.1 低价策略算账:或挤压西方托管方与国内对手收入 — teortaxesTex · 2026-10-22