Qwen3.6 本地推理加速对比
ElmBark · reddit · 2026-07-17
这条帖子对比了在本地 RTX 6000 上运行 Qwen3.6-27B 的三种方式：基线、MTP 和 DFlash。
结果
- 基线：44 tok/s，记为 1.00x
- MTP：65 tok/s，约 1.45x，接受率 71%
- DFlash：98 tok/s，约 2.2x，接受率 30%
结论
- DFlash 会一次草拟 15 个 token，因此在 JSON、代码这类结构化、重复性强的输出 上提速明显，文中给出的 JSON 场景达到了 152 tok/s、3.4x。
- 但在 创意文本 上，错误猜测会浪费计算，甚至可能 低于基线。
- MTP 只在模型内部并行猜 3 个 token，单次错误代价更小，因此更适合 聊天或创作。
作者的判断是：DFlash 更适合 coding 场景，MTP 更适合聊天/创作。
「Infra」频道最新
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11
- 开源 SmolVM:2026 年 Agent 不止用浏览器,而是拥有整台电脑 — aniketmaurya · 2026-09-11