capy-flash v0.7:125B MoE 塞进 64GB 内存,双卡跑出 234 tok/s
FeydRowan · reddit · 2026-10-22
开源推理引擎 capy-flash 发布 v0.7.1,重点是把大模型压到消费级硬件上跑:
- Qwen3.8-Flash-Next(125B MoE) 现在只需 64GB RAM + 一或两张 16GB 卡:路由专家用 ISTA-DASLab 的 GSQ-RCO 约 3bit 量化,48GiB 放内存、热点专家驻留 VRAM,其余在 CPU 计算,峰值内存约 57GB。单张 RTX 5070 Ti 跑 121 tok/s,双卡张量并行达 234 tok/s。
- Qwen3.8-27B 3bit 可塞进单张 16GB 卡(13.9GB VRAM),支持 64k 上下文、视觉与 MTP,单卡 174 tok/s、双卡 288 tok/s。
- 新增 AVX2 CPU(Zen 2/3、Intel 客户端)支持,修复 Windows/WSL2 页锁定内存限制导致的启动失败,并默认开启防空回复保护。
- 质量方面:27B 的 3bit 版 MMLU-Pro 从 0.78 降到约 0.72,双卡时仍建议 NVFP4;Flash-Next 的 3bit 专家与 NVFP4 基本持平。
作者也坦承单卡用户今天用 Strata 跑 Flash-Next 可能更好,capy-flash 的优势在双卡场景(张量并行 + 双卡共享的 VRAM 专家缓存)。附一键安装脚本,HF 上提供了量化权重。
「Infra」频道最新
- Google 携手 Meta 让 TorchTitan 原生跑 TPU，Llama 3 等可直接预训练 — rseroter · 2026-10-22
- SGLang 实现 MoE 部署不重启在线加 GPU 弹性扩容 — ying11231 · 2026-10-22
- Modal CEO 谈 GPU 云经济学：算力为何不该按三年矩形合同卖 — Latent Space · 2026-10-22
- 「黄仁勋的噩梦」：华为与DeepSeek正缩小与英伟达的芯片生态差距 — pstAsiatech · 2026-10-22
- 美国宣布 3.89 亿美元投资先进芯片，覆盖核聚变与 AI 数据中心 — Polymarket · 2026-10-22
- Qdrant Facet API 实战：过滤计数与相关结果的关键权衡 — qdrant_engine · 2026-10-22