RTX 5090 实测 Qwen 27B：Q4 与 Q5 量化均跑出 120 tokens/秒
sammyranks · reddit · 2026-11-09
一位用户在 RTX 5090 上实测 Qwen 3.8 27B（Unsloth GGUF）的 Q4KM 与 Q5KM 两种量化版本，用于经典的「鹈鹕骑自行车」单次生成测试。
两版本速度均达 110-120 tokens/秒，显存占用约 31GB（模型+KV cache）。Q4KM 可开 120K 上下文，Q5KM 为 90K。软件栈为 OpenCode 2 + LM Studio，开启 MTP、思考档 Medium，其余默认。
「Infra」频道最新
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13
- WSJ 曝黄仁勋私下忧心客户流失，晶圆与内存库存如「雪崩」压顶 — SumitGup · 2026-11-13
- Token 价格暴跌传导至英伟达订单，市场担忧「计算抵押债券」 — AIFlow_ML · 2026-11-13
- Batch API 省钱账：50% 折扣要乘以可等待流量占比，且应排在选模型和缓存之后 — arpit_bhayani · 2026-11-13
- RTX Pro 6000 跑通义模型时暴毙,楼主戏称 GPU「心碎而亡」 — wine_dark · 2026-11-13
- 单张 RTX 5090 跑 256 并发请求，Parallax 推理吞吐达 1.8 万 token/秒 — markjeffrey · 2026-11-13