2GB 显卡跑 7B 模型提速近 2 倍,开发者开源 WingLLM 投机解码工具
rbm3267 · reddit · 2026-11-17
开发者 rbm3267 的老工作站只有 2GB 显存的 Quadro P620,7B/8B 模型塞不进显存,Ollama 默认纯 CPU 推理仅 1.29 tok/s。他分析瓶颈不在 CPU 算力而在内存带宽:生成一个 token 需从 DDR4 流式读取全部 4.7GB 权重,双通道 24GB/s 物理上限约 1.5-2 tok/s。
解法是异构投机解码:2GB 显存跑不动 7B 模型,但能轻松跑 397MB 的 0.5B 草稿模型。草稿模型在 GPU 上毫秒级生成 3-4 个候选 token,CPU 上的 7B 模型用一次前向传播并行验证;在代码和结构化文本上,草稿命中率 75%-82%,相当于一次内存读取换 3-4 个 token。
实测(i5-8500T + P620):基线 1.29 tok/s → 投机解码 2.54 tok/s,提速 1.97 倍,输出质量不变。他据此开源了 Go 编写的 WingLLM(约 11MB 单二进制,MIT 协议):自动匹配同族 tokenizer 避免崩溃、自动扫描 Ollama 模型并配对、自动拉取草稿模型、一条命令接入 VSCode Continue/Cline、内置 Web UI 和 MCP server 支持。提供 Windows/macOS/Linux 一键安装脚本。
「编程与Agent」频道最新
- Qwen4-Max 上线 Lebrel 平台,称霸 DeepSWE 编码榜且比官方价低 7% — Alibaba_Qwen · 2026-11-17
- Pageloop 发布文档 Agent:功能上线自动更新截图与受影响文档 — prasanna_says · 2026-11-17
- 开发者分享 MCP 进阶用法:可通过 MCP 传递 UI 模板渲染数据 — js_craft_hq · 2026-11-17
- OutfitterBench:200 天装备租赁模拟揭示 LLM 智能体长期承诺协调短板 — Jie Huang · 2026-11-17
- Craftax 长程任务新法:反馈级联引导 LLM 进化程序化策略与目标编译器 — Víctor Gallego · 2026-11-17
- 实体消歧实测:靠上下文判断准确率 97.9%,纯名字匹配仅 63.5% — YvesMulkers · 2026-11-17