llama.cpp 评测：DFlash2 推测快 20% 但上下文缩水 38%
Opening-Broccoli9190 · reddit · 2026-08-21
用户在 5090RTX 上使用 Qwen 3.8 27B (Q8) 模型，对比了 llama.cpp 中 DFlash2 与 MTP 两种推测解码策略的性能。
关键数据：
- 生成速度：DFlash2 平均比 MTP 快 20.2%。
- Prompt 解析：MTP 略快 1.3%（基本持平）。
- 上下文容量：DFlash2 最大 90,112 tokens，MTP 为 124,416 tokens。MTP 多出 38.1% 的可用上下文。
结论：
- 短任务追求速度可选 DFlash2。
- 长任务或大上下文工作（>100k）时，DFlash2 因压缩和边际效应导致性能优势下降，且损失了大量上下文空间，需谨慎使用。
附带了完整的 llama-server 启动参数配置。
所属事件:llama.cpp集成DFlash2，Qwen推理提速最高3倍(2 条相关)→
「Infra」频道最新
- Phison CEO 称 CXMT 内存恐慌是“市场鬼故事”，明年的问题是缺料不缺单 — BenBajarin · 2026-10-16
- Ben Bajarin：算力未来是可互换的，超大规模厂商正为工作负载自由布局 — BenBajarin · 2026-10-16
- AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存 — Aiden_Tech_Ai · 2026-10-16
- NVIDIA 发布 cuPotential，用 AI 智能体模拟半导体材料原子交互 — tomaszbednarz · 2026-10-16
- 8 核 CPU 跑 Q4 量化模型，10 分钟单次生成太阳系交互演示 — IntrepidMindExplorer · 2026-10-16
- TokenSpeed MLA 2 发布:Kimi K3 在 Vera Rubin 解码最快提速 3.44 倍 — zhyncs42 · 2026-10-16