tandem.cpp v0.3.0 发布,大模型本地预填充提速 2-6 倍
llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,面向模型体积远超显存加内存总和的本地推理场景,例如在 16GB 显卡加 32GB 内存的配置上运行大型 MoE 模型。新版本通过开启 expert cache 等机制,将长提示的预填充阶段提速 2 至 6 倍,并支持 DeepSeek-V4.1,为显存不足的用户提供了实用的大模型本地加速方案。
2026-11-16 ~ 2026-11-16 · 2 条相关
- tandem.cpp v0.3.0:长提示处理提速 2-6 倍,支持 DeepSeek-V4.1 — smflx · 2026-11-16
- tandem.cpp v0.3.0 让装不进显存的大模型预填充快 2-6 倍 — smflx · 2026-11-16