tandem.cpp v0.3.0 发布,大模型本地预填充提速 2-6 倍

llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,面向模型体积远超显存加内存总和的本地推理场景,例如在 16GB 显卡加 32GB 内存的配置上运行大型 MoE 模型。新版本通过开启 expert cache 等机制,将长提示的预填充阶段提速 2 至 6 倍,并支持 DeepSeek-V4.1,为显存不足的用户提供了实用的大模型本地加速方案。

2026-11-16 ~ 2026-11-16 · 2 条相关