tandem.cpp v0.3.0 让装不进显存的大模型预填充快 2-6 倍

smflx · reddit · 2026-11-16

llama.cpp 补丁项目 tandem.cpp 发布首个正式版本 v0.3.0,针对模型远大于 VRAM+RAM 的场景:

所属事件:tandem.cpp v0.3.0 发布,大模型本地预填充提速 2-6 倍(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →