RTX 3090 跑 Qwen3.8-27B 达 672 tps，极致量化优化
iamMess · reddit · 2026-08-17
作者通过一系列量化与缓存优化，显著提升了 Qwen3.6-28B（注：标题为 27B）在 RTX 3090 上的推理速度。核心手段包括 W4A16 量化、FP8 KV Cache、lmhead 及 embedtokens 转 int8，将显存占用降至 14.2GB。结果显示：单请求 82 tps，峰值可达 672 tps，64 并发下维持 417 tps，比 ninfer 快 17% 至 149%。该方案基于 vLLM，质量损失约 0.6%。
所属事件:Qwen3.8-27B 多显卡本地实测：从 4080S 到 6000 Pro 全面可用(7 条相关)→
「Infra」频道最新
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16