DFlash让Qwen本地推理提速2.2倍
techNmak · x · 2026-07-14
这条转发总结了 Atomic Chat 对 DFlash 的测试：它能让本地运行的 Qwen3.6-27B 明显加速。 ### 实测结果 - Baseline：44 tok/s，1.00x - MTP：65 tok/s，1.45x，71% accepted - DFlash：98 tok/s，2.20x，30% accepted ### 原理 - Baseline：每步生成 1 个 token - MTP：模型内部一次猜 3 个 token - DFlash：用一个独立小模型一次写 15 个 token，再由大模型校验 ### 现象 在 JSON 这类重复性强的任务上命中率更高，速度甚至到 152 tok/s、3.4x；而在故事类任务上收益会下降。