Quad 3090 跑通 NVFP4 量化 Qwen3.8：单卡 120 tok/s
buythedip___ · x · 2026-09-07
QuixiAI 演示在 4 张 RTX 3090 上通过自研 SlimServe 跑 nvidia/Qwen3.8-Flash-Next-NVFP4：单并发 120 tok/s，8 并发达 361.7 tok/s。方案依赖其自定义 P2P 驱动（open-gpu-kernel-modules 改版），实现多张旧消费卡的点对点互联跑 FP4 模型，为低成本本地推理提供了可参考路径。
所属事件:Eric Hartford 解锁消费卡 P2P 并开源 SlimServe(10 条相关)→
「Infra」频道最新
- 实测RTX 4060：FP16矩阵乘法并非恒快2倍，大矩阵提速约3.5倍 — cneuralnetwork · 2026-10-23
- BaseQuant V1 量化 Qwen3.8-27B,KL 散度比 Unsloth 低 17–34% — nightowlsleeping · 2026-10-23
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- Linux 内核模块解锁 RTX 3090 半速张量核心，BF16 算力提升 1.9 倍 — UltramanQuar · 2026-10-23