RTX 5090 跑通 Qwen 27B NVFP4：120 t/s 含视觉与 451K 缓存
t4a8945 · reddit · 2026-08-23
分享了在单张 RTX 5090（400W 功耗限制）上运行 Qwen 2.5 27B NVFP4 量化版本的详细配置与性能数据。使用 vLLM 框架，开启了视觉支持和 451K 全局 KV-cache，实现了平均 120 tokens/s 的生成速度。帖子包含详细的性能基准表（从 4K 到 185K 上下文的测试）及完整的环境配置文档链接。
「Infra」频道最新
- 传 SK 海力士美国建厂或以美方放宽对华设备出口为条件 — pstAsiatech · 2026-10-15
- Perplexity 新 embedding 模型：大模型建索引、小模型做查询 — antoine_chaffin · 2026-10-15
- Unsloth 发布 Nemotron 3.5 本地量化包:Bolt 24GB 内存可跑 — danielhanchen · 2026-10-15
- vLLM-Omni 联手 BFL 与 NVIDIA 上线 FLUX 3 Image Klein 当日支持 — vllm_project · 2026-10-15
- NVIDIA Nemotron 3.5 Super VL 上线 Applied Compute 平台训推 — ypatil125 · 2026-10-15
- CoreWeave 债券收益率破 16%,贷款期限比客户合同长约 2 年 — tengyanAI · 2026-10-15