llama.cpp 新内核让 AVX-VNNI 上 Q2_0 预填充提速约 1.3 倍
pmttyji · reddit · 2026-11-16
llama.cpp 合入 PR #26348，为 x86 AVX-VNNI 增加 Q20 点积内核，纯 CPU 推理 prefill 显著提速：在 AMD EPYC 9645 八核、16GB 内存下，Bonsai 1.7B–27B 各量级的 pp512/pp128 普遍获得约 1.3 倍加速（如 8B 从 30.0 提到 39.4 tok/s），tg128 也有 1.09–1.22 倍不等的提升。
作者原本以为该优化只利于三元模型，实测发现并非如此：社区反馈显示它同样提升 IQ1S/IQ2XXS 量化的 DeepSeek v4.1 解码速度。端到端混合推理（RTX 4070 Laptop + --cpu-moe，10 线程、MTP 开启）下，66GB 的 Qwen3.8-Flash-Next GSQ-RCO Q20 MoE，CPU 路径从通用标量的 3.1–4.1 t/s 提升到 14.0–18.7 t/s，本 PR 内核更达 15.5–21.4 t/s。
作者建议使用 Q1/Q2 量化大模型的用户重新测速，GPU+CPU 混合推理同样受益；另有针对 AVX-512 VNNI 的 512 位点积内核 PR #32307 在推进，后续还有额外提速空间。
「Infra」频道最新
- 女程序员自述南下深圳做智算生意:戳破倒卖 B300 暴利神话 — dotey · 2026-11-16
- 企业 AI 不能只算 token 单价：推理经济学须从第一天纳入架构 — kashifmanzoor · 2026-11-16
- 开发者抱怨推理服务商不足，Perplexity decider 模型一债难求 — bo_wangbo · 2026-11-16
- 印度工程师自研多智能体运行时 Pony 求职，附 RPC、日志系统全套源码 — sharpeye_wnl · 2026-11-16
- NYT 长文曝黄仁勋隐秘关系风波，最终导致其辞去 Nvidia CEO — GaryMarcus · 2026-11-16
- Bindu Reddy：英伟达 80% 毛利难持续，注资 Neocloud 是自托需求 — bindureddy · 2026-11-15