单卡 RTX 6000 Pro 跑 Qwen3.8-Flash-Next NVFP4 达 184 tok/s
matteohorvath · hn · 2026-10-27
Mesh Applied 发布博客，展示在单张 RTX 6000 Pro 上以 NVFP4 量化格式运行 Qwen3.8-Flash-Next，达到 184 tok/s 的生成速度。
这展示了 4-bit 浮点格式在消费级/工作站 GPU 上做本地大模型推理的吞吐潜力，细节见其 release 博客。
「Infra」频道最新
- 长鑫 HBM3E 两个月内小批量投产,良率仅20%性能接近上代 — zephyr_z9 · 2026-10-28
- 视频转写成本曝光：GPU 识别每小时不到一块钱 — huangyun_122 · 2026-10-28
- 裸片+金柱互连+浸没冷却：一款被遗忘的超级计算机设计 — jwt0625 · 2026-10-28
- Reddit 预测明年 GPU 将大降价：算力泡沫正走向破裂 — sayamss · 2026-10-28
- Karpathy 力荐：从单个晶体管讲到完整 CPU 的科普视频系列 — blaizedsouza · 2026-10-28
- GPU 闲置一小时都在烧钱：Spot 利用率低于 60% 即亏损 — FinanceYF5 · 2026-10-28