llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍
pmttyji · reddit · 2026-11-22
Revertron 向 ggml-org/llama.cpp 提交的 PR #32735(vulkan: support non-contiguous src in SCALE)带来巨大提速。作者在 Radeon AI PRO R9700 上用 Unsloth 的 Inkling-2-Mini-UD-Q8KXL.gguf 实测:pp512 从 507.3 提至 1604.8 tok/s(3.2 倍),tg128 从 19.1 提至 53.8 tok/s(2.8 倍),深上下文(d16384)下 pp512 与 tg128 也分别提升 2.3 倍和 2.5 倍。测试命令为 llama-bench -ngl 99 -fa 1 -ctk q80 -ctv q80。修复合入前 Vulkan 后端处理非连续源张量的 SCALE 算子存在明显性能损失。
「Infra」频道最新
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22
- Inference Stack 开源一键部署套件:vLLM+LiteLLM+llm-d+Grafana 全家桶 — AccBalanced · 2026-11-22
- 4GB 显存跑 Krea-2-Turbo:GTX 1650 Super 上 30 秒出图 — A_NASHEX · 2026-11-22
- 12.8GB 近无损量化版 Inkling-2-Mini 发布,手机也能跑 Haiku 级模型 — teortaxesTex · 2026-11-22