RTX 3090 单卡Qwen3.8-27B跑出124 TPS
iamMess · reddit · 2026-08-19
开发者展示了在 RTX 3090 上将 Qwen3.8-27B 推理速度提升至 124 TPS（贪婪采样）的极致优化成果。关键技术包括：
- 草稿词汇表优化：基于模型自身输出统计，覆盖率从 92% 提升至 97.5%，显著减少拒绝采样。
- 算子量化与定制：GPTQ-int4 量化 lmhead 和 MTP 模块，仅增加 0.6% PPL；编写 Split-KV attention 内核解决验证步骤的 SM 占用瓶颈（5-10倍加速）。
- 采样器补丁：无排序 top-k/top-p 和多块 softmax，提升默认采样性能。
- KVarN KV Cache：支持 26.2k 上下文（牺牲约 20% 长上下文解码速度）。
所有优化均保证生成分布一致，项目代码已开源。
所属事件:Qwen3.8-27B推理优化刷新RTX 3090单卡速度纪录(2 条相关)→
「Infra」频道最新
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16
- AI 挤占产能：三星因 E-glass 短缺下调 Q4 手机产量 — zephyr_z9 · 2026-10-16