DFlash 投机解码首次跑上 4×V100,老卡焕发第二春

Major_Ingenuity_6364 · reddit · 2026-10-24

Reddit 用户 CaiOS1 发布其维护的 vLLM 分支 ReVolta(1Cat-vLLM)0.1.2 版本，在 4×V100 32GB PCIe(无 NVLink)的家庭服务器上实现了 DFlash2 投机解码，称这可能是首个在 Volta 架构上跑通 DFlash 的方案。

技术方案：drafter 使用 incoai 的 DFlash2 checkpoint,从目标模型 hidden states 起草 8-token 块，目标模型一次验证；主模型为 Qwen3.8 Flash-Next(AWQ),512K 上下文，FP8 KV + CPU offload,TP4 + DCP2
实测数据(greedy、512-token 回复)：单请求英文代码 201 tok/s、英文推理 195 tok/s,均高于 MTP4 的 163;中文反而更慢(85–101 vs 100–105,drafter 以英文训练)；8 并发混合负载下略慢于 MTP(331 vs 357)
KV pool 容量提升约 10%,最高可容纳 127 万 tokens
已知取舍：MTP 仍是默认，DFlash 为可选开启；另修复了 tool calling、Anthropic messages 端点和大图 token 预算问题

「Infra」频道最新