tandem.cpp v0.3.0:长提示处理提速 2-6 倍,支持 DeepSeek-V4.1

smflx · reddit · 2026-11-16

本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,定位是模型远超 VRAM+RAM 时的加速方案(如 16GB 显卡+32GB 内存跑大 MoE)。

主要更新:开启专家缓存后提示按 4096-token 批处理,长提示处理提速 2-6 倍——RTX 5070 Ti 上 Qwen3.8 5.5k token 提示从 12.4s 降到 4.1-7.0s;DeepSeek-V4.1 IQ2XS 15.7k 提示从 llama.cpp 的 2012s 降到 195s。解码速度也显著领先(如 Qwen3.8 5.5k 提示后 110 tok/s vs llama.cpp 27 tok/s)。

与 Project Maya 对比:同一份 DeepSeek-V4.1 Maya-XS GGUF 上,tandem.cpp 无 drafting 解码 60 tok/s vs Maya 39-40(1.5×),但 Maya 带自研 DSpark drafter 时仍更快(54.9 tok/s),最长提示的 prompt 处理 Maya 也领先,是下个版本的方向。

限制:仅 Linux;AMD 可用但 VRAM 借用关闭;模型超 RAM 时长提示仍需读 SSD;Windows 预编译版待出。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →