llama.cpp Vulkan 下投机解码被吐槽:更慢、更吃显存,还不如不开
ParaboloidalCrest · reddit · 2026-11-19
Reddit 用户发帖吐槽 llama.cpp(Vulkan 后端)上的投机解码体验,考虑彻底放弃:有时比不开投机解码还慢;min/max 参数需持续手工调、没有确定性配方;明显拖慢 prompt 处理速度;在有意义的上下文深度(128k+)下 token 生成收益归零;最终还占用足够额外 128k 上下文的显存。作者基于 Qwen 27B 等模型的使用经验,询问是否漏了什么。评论区可用于收集本地部署者的实测结论。
「Infra」频道最新
- Agent 原型易做产品难:多租户隔离与合规才是真门槛 — Franc0Fernand0 · 2026-11-19
- 微软大规模宕机后,大型咨询公司为何集体沉默 — DavidLinthicum · 2026-11-19
- AMD XDNA 2 NPU 获 Unsloth Desktop 支持,宣称全球首个 — danielhanchen · 2026-11-19
- Verba-TTS-Indic-Zero:仅 7.6MB、12 语言的超轻量 TTS,成本仅为 ElevenLabs 的 1/2000 — alexcovo_eth · 2026-11-19
- Kong 年跑 500 万亿 token 后推出 Volcano 自愈式 Agent 云 — EXM7777 · 2026-11-19
- Pete Warden 谈本地 AI:开权重模型为何正挑战云端前沿模型 — bigdata · 2026-11-19