llama.cpp 重构 Intel XMX 矩阵引擎,B70 投机解码提速近一倍
nickm_27 · reddit · 2026-10-23
llama.cpp 合入 PR #29864(budiony 提交),重构 Intel XMX 矩阵引擎为多列布局,给 Intel B70 GPU 的 SYCL 投机解码带来大幅提速。
作者在 B70 上用 DFlash2 跑 Muse Glimmer Q6K(30B)实测:9 类任务的聚合总耗时从 46.86 秒降到 26.68 秒,单任务 tok/s 普遍从 36-53 提升到 53-88(如 summarize 从 50.1 → 85.4)。由于 token 验证成本大降,n-max 上调导致接受率从 0.78 降到 0.36,但整体吞吐依然接近翻倍。
「Infra」频道最新
- Modal 开源 Spindle：Tinker 兼容训练服务器，按 GPU 计费不再按 token 付费 — andersonbcdefg · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23