DFlash2 推理加速实测：4080 16GB 跑 Qwen3.8-27B 速至 86.7 tok/s
Apprehensive_Bar6609 · reddit · 2026-08-26
一篇详细的技术指南展示了如何使用 DFlash2 投机解码技术在 RTX 4080 16GB 上加速 Qwen3.8-27B 的推理。
- 原理：DFlash2 通过一个小型 Drafter 模型并行预测多个 Token，再由大模型 Target 进行验证，实现无损加速。
- 搭建步骤：
- 从未合并的 PR #27342 分支编译 llama.cpp。
- 下载目标模型 (Qwen3.8-27B GGUF) 和对应的专用 Drafter 模型 (561MB)。
- 使用特定参数启动 llama-server，关键参数为 --spec-type draft-dflash 和 --model-draft。
- 性能数据：
- 4k 上下文：速度从 50.6 tok/s 提升至 86.7 tok/s (加速比 1.72x)。
- 120k 上下文：速度提升至 66.1 tok/s (加速比 1.31x)。
- 显存开销：仅增加 561MB VRAM。
- 注意事项：Drafter 模型必须与目标模型精确配对；nmax=3 时效果最佳；超过 122k 上下文时存在 PR Bug。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15