exllamav3 CPU offload 实测：Qwen 预填快 3.2 倍解码快 2 倍
Lowkey_LokiSN · reddit · 2026-09-08
- 作者用 2×RTX 3080 20GB + 128GB DDR4 + Xeon 6148 对比 llama.cpp 与 exllamav3 的 CPU-offload 推理：Qwen-3.8-Flash-Next 上 llama.cpp（Unsloth Q4KXL）约 270tps 预填、13tps 解码且随上下文衰减。
- exllamav3 的 4.05 EXL3 量化平均解码 25tps（峰值 32tps），稳定保持到 160k 上下文，预填 870tps，快 3.2 倍，量化质量也更好。
- 但优势不通用：GLM 5.3 Flash 的 EXL3 反而比 llama.cpp 慢约 2 倍，瓶颈在 CPU 的 AVX2；效果依赖模型架构与硬件。
- 实操提示：exllamav3 + TabbyAPI 配置比 llama.cpp 复杂；解码速度需数千 token 预热（校准冷热专家），从 12tps 逐步爬到 25-30tps，别过早下结论。
「Infra」频道最新
- 500 万美元种子轮不够 DeepSeek 训一遍:没 GPU 的 AI 创业只剩三条路 — FinanceYF5 · 2026-10-26
- HBM 需求转向:低端推理砍单,Rubin 将全系 12-high HBM — BenBajarin · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- Ubicloud 发文修复 vLLM 工具调用准确率问题 — petrusenko_max · 2026-10-26
- Meta 批准无投票权 C 类股，2026 年资本开支指引达 1350–1450 亿美元 — thione · 2026-10-26
- Unsloth 发布 MiniMax-M3.1-Flash 量化：2-bit 保留 91.5% 精度，150GB 内存可跑 — danielhanchen · 2026-10-26