capy-flash:两块 16GB 消费卡跑满 NVFP4 版 Qwen 125B MoE
FeydRowan · reddit · 2026-10-16
开发者发布 capy-flash（ninfer-tp2 引擎进化版），在两块 RTX 5070 Ti 16GB 上以张量并行运行 Qwen3.8-Flash-Next 125B-A6B，专家权重卸载到内存，使用 NVIDIA 官方 NVFP4 权重，一个 flag 可切换回 Qwen3.8-27B。
- 性能：同权重下生成约 100 tok/s（Strata 78）、15k 提示词 prefill 约 3.4k tok/s（Strata 2.7k）；Strata 的 3-bit IQ3S 生成仍更快，但每任务多写 23% token
- 质量对照数据中心 NVFP4 参考用 GSM8K、MMLU-Pro 和 agentic coding 任务校验
- 附带发现：TP 下各 GPU 在 all-reduce 前把部分和舍入到 BF16，TP=2 会双重舍入，Qwen3 上大错误频率约为单卡的 5 倍；改用 FP16 写部分和（字节数相同、精度细 8 倍）可恢复单卡水平且几乎无速度损失
- 限制：仅 Linux、RTX 50 系列（sm120）。仓库与权重均已开源
「Infra」频道最新
- Adobe 联手 NVIDIA 优化创意应用：RTX Spark 本地提速至 2 倍 — shashib · 2026-10-16
- Meta 合同承诺单季暴增至 3490 亿美元，服务器内存价格一年涨三倍 — tengyanAI · 2026-10-16
- Meta 发布 Muse Spark Open,vLLM 支撑训练期 RL 推理并首日适配 — colinmcnamara · 2026-10-16
- Meta Muse Spark 开源版需 493GB 内存，16GB 笔记本根本跑不动 — TejasKumar_ · 2026-10-16
- CoreWeave 三日暴跌 20%,信用市场定价五年内违约概率超 60% — kimmonismus · 2026-10-16
- MiniCPM-V 4.7 端侧跑出 17 tokens/s,iPad 仅需约 3GB 内存 — techNmak · 2026-10-16