tandem.cpp v0.3.0:长提示处理提速 2-6 倍,支持 DeepSeek-V4.1
smflx · reddit · 2026-11-16
本地推理引擎 tandem.cpp 发布首个正式版本 v0.3.0,定位是模型远超 VRAM+RAM 时的加速方案(如 16GB 显卡+32GB 内存跑大 MoE)。
主要更新:开启专家缓存后提示按 4096-token 批处理,长提示处理提速 2-6 倍——RTX 5070 Ti 上 Qwen3.8 5.5k token 提示从 12.4s 降到 4.1-7.0s;DeepSeek-V4.1 IQ2XS 15.7k 提示从 llama.cpp 的 2012s 降到 195s。解码速度也显著领先(如 Qwen3.8 5.5k 提示后 110 tok/s vs llama.cpp 27 tok/s)。
与 Project Maya 对比:同一份 DeepSeek-V4.1 Maya-XS GGUF 上,tandem.cpp 无 drafting 解码 60 tok/s vs Maya 39-40(1.5×),但 Maya 带自研 DSpark drafter 时仍更快(54.9 tok/s),最长提示的 prompt 处理 Maya 也领先,是下个版本的方向。
限制:仅 Linux;AMD 可用但 VRAM 借用关闭;模型超 RAM 时长提示仍需读 SSD;Windows 预编译版待出。
「Infra」频道最新
- 曝马来西亚数据中心与华为洽谈,补位 Nvidia 算力缺口 — basedjensen · 2026-11-16
- 爆料称 DeepSeek V5 已预训练:约2T参数MoE,纯华为昇腾无NVIDIA — DeryaTR_ · 2026-11-16
- 微软邮件服务宕机致德国乐园氯气警报延误,15人吸入中毒 — evilsocket · 2026-11-16
- 从濒临破产到万亿市值:苏姿执掌 AMD 十二年翻身记 — bigaiguy · 2026-11-16
- 开源工具 llmfit 扫描硬件并按质量/速度/适配/上下文为本地模型打分 — thisdudelikesAI · 2026-11-16
- 传 SemiAnalysis 将 2028 年 AI 加速器资本开支预测下调 28% — firstadopter · 2026-11-16