llama.cpp WebGPU 支持 Q2_0,Ternary Bonsai 推理速度提升近 50 倍
pmttyji · reddit · 2026-10-22
llama.cpp 合入 PR #30914,为 WebGPU 后端补上 Q20 量化支持,作者 teddygood 在 RTX 3060 上用原生 Dawn WebGPU 实测:
- Ternary Bonsai 1.7B Q20:pp512 从 35 t/s 提升到 1915.91 t/s,tg128 从 14 t/s 提升到 94.75 t/s
- Bonsai 2 2B Q20:pp512 从 36.4 t/s 提升到 2039.89 t/s,tg128 从 12.57 t/s 提升到 71.72 t/s
也就是说,此前 master 分支上该量化格式在 WebGPU 后端近乎不可用,补齐后 prefill 吞吐提升约 50-55 倍,改动仅 +81/-1 行、5 个文件。对想在浏览器/WebGPU 环境跑小型量化模型的人是个实打实的性能修复。
「Infra」频道最新
- RTX 5090 跑 ComfyUI 热点温度达 98°C，用户求横向对比 — HrothgarLover · 2026-10-22
- whatmodel 开源工具：按你的 RAM 和 GPU 匹配最合适的本地 AI 模型 — JeremyCMorgan · 2026-10-22
- 80 小时 H100 三天后过期,网友寻求 agent 可用的算力接盘者 — madeofAjala · 2026-10-22
- RTX PRO 6000 也替代不了云端：本地 LLM 工作实测引质疑 — C1rc1es · 2026-10-22
- llama.cpp 新 PR：用 R9700 跑赢 strata decode 性能 — keyboardhack · 2026-10-22
- Flint int4 跑 Qwen3.6-35B:Mac mini 解码最高 122.6 tok/s,质量持平 — _rockt · 2026-10-22