tandem.cpp 让 16GB 显卡跑 139GiB 专家的 DeepSeek-V4.1，速度翻倍
smflx · reddit · 2026-11-15
作者更新了 llama.cpp 补丁集 tandem.cpp：把 MoE 模型的热点专家放 GPU、其余交给 CPU，让超出显存的模型跑得更快，并新增 AMD ROCm/HIP 支持。
DeepSeek-V4.1-Flash IQ2XS（139 GiB 专家权重，64GB 内存 PC，需从 SSD 流式读取）单用户解码速度：
- RTX 5070 Ti 16GB + i5-14600KF：llama.cpp 7.4 → tandem.cpp 14.2 tok/s（Strata 10.4）
- 换无 DRAM 的入门 SSD 后仍达 10.4 tok/s，Strata 仅 5.7
- RTX 5090 32GB + 128GB 内存：llama.cpp 11.5 → 33.1 tok/s
内存小于模型：32GB 内存跑 Qwen3.8-Flash-Next IQ3S（78 GiB）+ MTP，tandem.cpp 达 34.3 tok/s，约为 llama.cpp 14.9 的 2.3 倍。模型能装进内存时 Strata 略胜（4090 上 104 vs 97）。
DeepSeek-V4.1、gpt-oss-120b、GLM-4.5-Air、Qwen3.6 相比原版 llama.cpp 提升 1.4-2.1 倍。AMD RX 7900 XTX 上 tandem.cpp 68.6 tok/s 与 Strata 持平（Avalon 83.6 领先）；本周的 CUDA/HIP 共享 kernel 让 7900 XTX +2.5%、5070 Ti +1.3%。Vulkan 暂不支持。
「Infra」频道最新
- 玩家自建 8×3090 本地推理集群：10 个 Agent 并行跑到 370 tok/s — dazzou5ouh · 2026-11-15
- Alchemy 新版支持 Rivet 与 Effect Cluster,可部署到任意云并跨平台换沙箱 — samgoodwin89 · 2026-11-15
- Gemini 4 全程用自研 TPU 训练,Google 成唯一摆脱英伟达的巨头 — gaganghotra_ · 2026-11-15
- Chamath 解析 CoreWeave 信贷违约掉期利差跳升：高杠杆+固定价卖算力 — rohanpaul_ai · 2026-11-15
- 断网也能跑 AI:网友用旧 MacBook 搭太阳能本地推理+Meshtastic 网络 — natesiggard · 2026-11-15
- 开发者追问：AWS AgentCore 与 Cloudflare Agents 之外有没有更简单的选择 — line9779 · 2026-11-15