ExLlamaV3 大更新：MoE 专家 CPU offload 与自校准量化
Unstable_Llama · reddit · 2026-09-01
turboderp 的本地推理引擎 ExLlamaV3 发布一系列重大更新：
- MoE 专家 CPU offload：显存不够时可将专家层卸载到内存
- 支持 Qwen3.8-Flash-Next 的 ngram 磁盘 offload，以及 GLM-5.3-Flash 的 exl3 格式
- 新增自校准优化（self-calibrated optimization）量化技术，可针对具体模型自动寻找最优量化参数
- 大量其他性能优化
作者提醒：有 NVIDIA 显卡但最近没试过 ExLlamaV3 的用户可能错过不少提升。附带的猫咪 SVG 图即由 Qwen3.8-Flash-Next 生成。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18