2GB 显卡跑 7B 模型提速近 2 倍,开发者开源 WingLLM 投机解码工具

rbm3267 · reddit · 2026-11-17

开发者 rbm3267 的老工作站只有 2GB 显存的 Quadro P620,7B/8B 模型塞不进显存,Ollama 默认纯 CPU 推理仅 1.29 tok/s。他分析瓶颈不在 CPU 算力而在内存带宽:生成一个 token 需从 DDR4 流式读取全部 4.7GB 权重,双通道 24GB/s 物理上限约 1.5-2 tok/s。

解法是异构投机解码:2GB 显存跑不动 7B 模型,但能轻松跑 397MB 的 0.5B 草稿模型。草稿模型在 GPU 上毫秒级生成 3-4 个候选 token,CPU 上的 7B 模型用一次前向传播并行验证;在代码和结构化文本上,草稿命中率 75%-82%,相当于一次内存读取换 3-4 个 token。

实测(i5-8500T + P620):基线 1.29 tok/s → 投机解码 2.54 tok/s,提速 1.97 倍,输出质量不变。他据此开源了 Go 编写的 WingLLM(约 11MB 单二进制,MIT 协议):自动匹配同族 tokenizer 避免崩溃、自动扫描 Ollama 模型并配对、自动拉取草稿模型、一条命令接入 VSCode Continue/Cline、内置 Web UI 和 MCP server 支持。提供 Windows/macOS/Linux 一键安装脚本。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →