capy-flash v0.7.4:双 5070 Ti 跑 Qwen3.8,解码 379 tok/s

FeydRowan · reddit · 2026-10-24

开发者发布自研推理引擎 capy-flash v0.7.4,专为两张消费级 RTX 50 卡的 PCIe 张量并行设计,支持 Qwen3.8-Flash-Next 与 Qwen3.8-27B,内置跨卡共享的 VRAM 专家缓存(未命中由 CPU 计算),针对 NVIDIA NVFP4 量化调优。

实测数据(2× RTX 5070 Ti 16GB,Ryzen 9 9900X,96GB DDR5):

Flash-Next NVFP4:解码 178 tok/s,64k prefill 4,828 tok/s;3-bit 专家解码达 234 tok/s,GSM8K 与 NVFP4 持平,MMLU-Pro 从 0.78 降至约 0.72
27B 双卡 NVFP4+DFlash2:验证解码 379 tok/s,超过 LocalMaxxing 上除作者外最快的 2× 5090 SGLang fork(315);并发测试最高 927 tok/s
对比 Strata:NVFP4 双卡平均快约 1.76 倍,53 轮编程会话 177s vs 268s;3-bit 同权重下 Strata 整体更快,但其优势主要来自跳过低排名专家的 route tail skip,关掉该优化后 Strata 单卡解码反而慢约 10%

也支持单卡起步(5060 Ti 起)、混合卡型与 Windows(WSL2/Docker,原生移植中),可先一张卡后加第二张而无需换引擎或模型文件。

「Infra」频道最新