单卡96G跑284B大模型:投机解码与显存分配优化实测

FantasticNature7590 · reddit · 2026-08-13

作者在单张 RTX PRO 6000 (96GB) 上对 DeepSeek V4 Flash 284B 模型进行了深度推理优化测试，探索了在显存不足时的最佳实践。

DSpark 投机解码提升速度：在匹配显存用量的前提下，使用 DSpark 投机解码使生成速度提升了约 15-17%。
反直觉的显存分配：将 DSpark 的 drafter 模型放入系统 RAM 而非 VRAM，腾出的显存可用于加载更多目标模型层。由于目标模型层被读取的频率远高于 drafter，这种配置反而使速度提升了 4.4%。
推测 token 数量探索：测试发现生成 3 个推测 token 是最佳平衡点，虽然 2 个 token 的接受率更高，但 3 个 token 每轮验证产出的有效 token 数最多。
q80 KV 缓存几乎无损：使用 q80 量化 KV 缓存，可将上下文从 256K 扩展到 768K，且解码速度基本无损，长文本检索（如 900K token 级别）依然有效。

硬件配置为 Ryzen 9 9950X + 96GB DDR5，模型被拆分为 21 层驻留 GPU，19 层驻留 RAM，整体受限于内存带宽。

「Infra」频道最新