exllamav3 CPU offload 实测：Qwen 预填快 3.2 倍解码快 2 倍

Lowkey_LokiSN · reddit · 2026-09-08

作者用 2×RTX 3080 20GB + 128GB DDR4 + Xeon 6148 对比 llama.cpp 与 exllamav3 的 CPU-offload 推理：Qwen-3.8-Flash-Next 上 llama.cpp（Unsloth Q4KXL）约 270tps 预填、13tps 解码且随上下文衰减。
exllamav3 的 4.05 EXL3 量化平均解码 25tps（峰值 32tps），稳定保持到 160k 上下文，预填 870tps，快 3.2 倍，量化质量也更好。
但优势不通用：GLM 5.3 Flash 的 EXL3 反而比 llama.cpp 慢约 2 倍，瓶颈在 CPU 的 AVX2；效果依赖模型架构与硬件。
实操提示：exllamav3 + TabbyAPI 配置比 llama.cpp 复杂；解码速度需数千 token 预热（校准冷热专家），从 12tps 逐步爬到 25-30tps，别过早下结论。

「Infra」频道最新