tandem.cpp v0.3.0 让装不进显存的大模型预填充快 2-6 倍
smflx · reddit · 2026-11-16
llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,针对模型远大于 VRAM+RAM 的场景:
- 预填充提速:开启 expert cache 后按 4096-token 大 batch 处理 prompt,运行时临时借用 VRAM、用完归还,无需额外参数。RTX 5070 Ti 16GB + 64GB RAM 实测:5.5k prompt 从 llama.cpp 的 28.9s 降到 4.1–7.0s(191→最高 1340 tok/s);DeepSeek-V4.1 IQ2XS 15.7k prompt 从 2012s 降到 195s
- 解码也快:同模型同文件与 Project Maya 引擎对比,DeepSeek-V4.1 Maya-XS 解码 60 vs 39 tok/s,长 prompt 后解码 66–68 vs 26–34 tok/s;Maya 在超长 prompt 上仍领先
- 限制:仅 Linux;AMD(ROCm)不支持 VRAM 借用;超大模型长 prompt 仍读 SSD,Strata 在该项更快;Windows 版本计划中
所属事件:tandem.cpp v0.3.0 发布,大模型本地预填充提速 2-6 倍(2 条相关)→
「Infra」频道最新
- 远程 VM 上跑 coding agent 成本几何?开发者征集真实账单 — radim11 · 2026-11-16
- Datadog 新网关在模型预算耗尽时返回 402,暴露 agent 预算上限设计难题 — YvesMulkers · 2026-11-16
- 4090 跑 Minimax H3 最高画质怎么配?社区实测 int8 量化方案 — newaccount47 · 2026-11-16
- 16GB MacBook Air 本地视频换装提速 6.5 倍:从 15.7 分钟到 2.4 分钟 — might_thinker · 2026-11-16
- FlashStates 让混合架构推理预填充吞吐达 vLLM 的 3.14 倍 — 机器之心 · 2026-11-16
- DeepSeek V4 Pro 指纹变更实为换集群:权重逐位一致,疑似昇腾后端 — teortaxesTex · 2026-11-16