tandem.cpp 让单张 4090 跑 Qwen3.8-Flash-Next 达 97 tok/s，3.3 倍于 llama.cpp
smflx · reddit · 2026-11-02
独立开发者发布 llama.cpp 补丁集 tandem.cpp，让装不进显存的 MoE 模型显著提速：把高频专家留在 GPU，其余交给 CPU 协同，面向单用户解码场景。
实测数据（i5-12400F + 64GB DDR4 + RTX 4090，GSM8K 解码 tok/s）：
- Qwen3.8-Flash-Next IQ3S + MTP：llama.cpp 29.8 → 97.3（3.3 倍），接近专用方案 Strata 的 103.6
- gpt-oss-120b：27.8 → 51.5（1.85 倍）
- 其他 MoE 模型（GLM-4.5-Air、Qwen3.6-35B-A3B、DeepSeek-V4.1 等）典型提升 1.4–2.1 倍
- 64k 长提示的 prefill 也快 1.4–1.8 倍
针对 Qwen3.8 调优效果最佳，但兼容 llama.cpp 支持的任意 MoE 模型。项目独立开发，与 ggml-org 无关，4 台机器的完整结果和构建命令见 GitHub。
「Infra」频道最新
- MiniMax 致谢社区:428B 的 M3.1 Flash 量化后 143.9GB 可本地跑 — MiniMax_AI · 2026-11-02
- ML 工程师吐槽内存贵:要我攒钱攒到下辈子才买得起 — chrisalbon · 2026-11-02
- 把 4 条 ComfyUI 工作流重写成零依赖引擎，16GB 显卡跑 22GB 管线 — MCP1964 · 2026-11-02
- 马斯克晒Colossus 2:约111万H100当量算力，号称超越Stargate — elonmusk · 2026-11-02
- 马斯克称内存涨价冲击前所未见，Micron毛利率已达87% — XFreeze · 2026-11-02
- 分析：AWS 明年有望低价抄底陷入困境的 neocloud 算力资产 — thedealdirector · 2026-11-02