单卡 5090 跑 Qwen 27B：200+ t/s 推理实战
Maleficent-Ad5999 · reddit · 2026-08-31
用户在单张 RTX 5090 (32GB) 上成功运行 Qwen3.8-27B 模型 (NVFP4 量化)，使用 ninfer 引擎实现了 200+ t/s 的解码速度。实测数据显示，在 180K 上下文且开启 MTP (5 draft tokens) 时，解码速度达 200.5 tok/s。作者提供了具体的启动命令和基准测试结果，指出合成文本预测较容易，真实 Agent 编码场景下接受率约 51%，速度降至 154 tok/s。
所属事件:单卡 RTX 5090 跑 Qwen 27B 实测超 200 t/s(2 条相关)→
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16