RTX 3090 跑 Qwen3.8-27B 推理达 134 TPS，长文响应秒回
iamMess · reddit · 2026-08-20
作者将 Qwen3.8-27B 在 RTX 3090 上的推理速度推至 134 TPS（默认采样），并大幅降低长对话多轮响应延迟（从 23 秒降至约 1 秒）。
核心优化：
- DFlash2 草稿模型：引入 5 层块草稿模型，一次预测 7 个 token。作者将其量化为 Int4，体积缩至 1.19GB，性能提升显著。
- Lookup-augmented 草稿：利用 Triton 核扫描历史 Token，直接复现长文本中的引用或重复代码，在特定任务上提升 29% tokens/step。
- 前缀缓存：针对 Mamba/GDN 混合模型开启缓存，使 24k 文档的第二轮对话延迟从 23 秒降至 1 秒左右。
- 显存优化：修复分配器逻辑，将 64k 上下文的单 Token KV 占用从 105KB 降至 78KB。
性能数据：
- 单用户：134 TPS（默认采样）。
- 64 并发：942 TPS。
- 质量：Perplexity 8.09，GSM8K 96.5%，无明显损耗。
所属事件:RTX 3090 上 Qwen3.8-27B 推理提速至 381 TPS(2 条相关)→
「Infra」频道最新
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- LMA day-0 支持扩至四大芯片:TPU 上首次实现模型零日上线 — ying11231 · 2026-10-16
- Semtech 分析师日幻灯片讲透信号完整性：衰减、带宽、非线性、噪声四大损伤 — BenBajarin · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 伯克利学者：芯片供应链高度集中，硬件级暂停前沿 AI 可行且可持续 — wfithian · 2026-10-16
- Khala 研报对比 peaq、THOR、BitRobot、Axis 四家机器人数据代币化项目 — 0xSammy · 2026-10-16