Tandem-vLLM 0.2.0:DeepSeek-V4.1-Flash 跑上 3090/4090 级消费卡,双卡加速
smflx · reddit · 2026-11-14
Tandem-vLLM 是 vLLM 0.31 的 expert-offload 定制版,用于在消费级 GPU 上运行 DeepSeek-V4.1-Flash(模型包 293 GB)。0.1.1 只支持 Blackwell,0.2.0 扩展到 Hopper、Ada 和 Ampere(3090/4090、A6000、H100/H200),并新增双卡方案。
原理:被路由的 MoE 专家以 2-bit 向量量化(VQ,2.1 bits/weight)存在主机内存,GPU 缓存常用专家;缓存未命中时由 CPU 与 GPU 并行计算,不做任何跳过或替代,输出与权重包精确一致。其余为原版 vLLM:OpenAI 兼容 API、continuous batching、prefix caching、工具调用、图像输入、DSpark 投机解码。
双卡两种模式:
- Tensor parallel:CPU 强时最快(2× RTX PRO 6000 + 64 核 EPYC 达 93.1 tok/s)。
- Helper GPU:第二张卡缓存并计算主卡没装下的热门专家,CPU 全留给主卡,适合小 CPU/24GB 卡;8 核 CPU 下 2×24GB 达 21.7 tok/s,远高于张量并行的 12.5。
质量:与官方 FP4 权重相比,纯 VQ 方案 GPQA-diamond 从 81.3% 降到 73.2%,GSM8K 与 passkey 长上下文检索基本无损;FP4TOP=52(每层保留 52 个最常路由专家为 FP4)可挽回约一半损失。
要求:300 GB 磁盘、128GB+(建议 256GB)内存、Linux、CUDA 13、AVX2/AVX-512 CPU。另有 llama.cpp 系的 tandem.cpp,5090+128GB 内存可达 33 tok/s,适合 16-32GB 单卡用户。
「Infra」频道最新
- 英伟达一周市值蒸发5730亿美元,超过万事达卡总市值 — Polymarket · 2026-11-14
- Dario Amodei:Anthropic 算力锁定仅 9000 亿,远少于对手 — rohanpaul_ai · 2026-11-14
- 从 Nvidia 拿过融资的创始人：它不是循环融资，是在补没人敢补的缺口 — williamfalcon · 2026-11-14
- Thinking Machines 揭秘 Inkling 2 Small 全程原生 4-bit 训练 — thinkymachines · 2026-11-14
- Modular 联创 Chris Lattner 谈一套软件栈统管六种芯片架构 — samcharrington · 2026-11-14
- 美国国家科学院报告呼吁 NSF 共建主权开源科学 LLM — thoefler · 2026-11-14