llama.cpp新PR让CPU解码提速3倍，8B模型Q2_0量化破8 tok/s
BTA_Labs · reddit · 2026-08-07
llama.cpp 的一个新 PR（#26348）为 Q20 量化引入了 x86 VNNI 指令集优化，在纯 CPU 环境下实现了 3.0 到 3.6 倍的显著性能提升。
- 测试环境：AMD EPYC 9645 处理器（8核），禁用 GPU 和 BLAS，使用 Bonsai GGUF 模型。
- 性能飞跃：8B 模型的解码速度从 2.39 跃升至 8.20 tok/s；1.7B 模型提升达 3.26 倍。
- 消费级硬件潜力：参考实现发现，Intel 12-14 代桌面 CPU（如 i5-13400）此前因缺少 AVX-512 支持而静默错过了快速路径，修复后同样获得约 3.2 倍提速。
- 注意事项：该 PR 尚未合并，优化仅针对 Q20 量化，且在内核级别存在极微小的数值精度差异。
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16