RTX 6000 Pro 本地跑 Qwen3 8B Flash:预填 2000tps 但解码仅 40tps
AppealSame4367 · reddit · 2026-09-04
作者在租用的 RTX 6000 Pro 上用 ikllama 跑 Qwen3 8B Flash,配置为 3 个 slot、200k 上下文、IQ4 量化、Q8 KV cache:单请求预fill约 2000 tps,但解码仅 40 tps;2-4 路并行时预fill降至 500-1000 tps、解码跌到 10-20 tps。他认为这是除数据中心 GPU 外该模型能跑的最好单卡,但实际表现并不理想,尝试过 vLLM recipes 也无改善,发帖求更优的 2-4 并发、Q4+ 量化、Q8 KV cache 配置方案。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21