软件神优化：四张 V100 跑平 RTX 5090 运行 Qwen 3.8
Simple_Library_2700 · reddit · 2026-08-19
开发者通过编写 QPN 内核，让 2017 年的 Tesla V100（原本不支持 FP4/FP8）能够原生运行 Qwen 3.8 的 NVFP4 权重。在单请求解码测试中，四张 V100 的吞吐量（219.1 tok/s）甚至略超 RTX 5090（214.7 tok/s），达成性能 parity。其核心原理是在读取 HBM 时即时解量化并适配 Volta 的 Tensor Core，通过增加每轮验证的 token 数（5.89 vs 4.27）弥补了单轮延迟劣势。
「Infra」频道最新
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16