llama.cpp Vulkan 下投机解码被吐槽:更慢、更吃显存,还不如不开

ParaboloidalCrest · reddit · 2026-11-19

Reddit 用户发帖吐槽 llama.cpp(Vulkan 后端)上的投机解码体验,考虑彻底放弃:有时比不开投机解码还慢;min/max 参数需持续手工调、没有确定性配方;明显拖慢 prompt 处理速度;在有意义的上下文深度(128k+)下 token 生成收益归零;最终还占用足够额外 128k 上下文的显存。作者基于 Qwen 27B 等模型的使用经验,询问是否漏了什么。评论区可用于收集本地部署者的实测结论。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →