单卡96G跑284B大模型:投机解码与显存分配优化实测
FantasticNature7590 · reddit · 2026-08-13
作者在单张 RTX PRO 6000 (96GB) 上对 DeepSeek V4 Flash 284B 模型进行了深度推理优化测试，探索了在显存不足时的最佳实践。
- DSpark 投机解码提升速度：在匹配显存用量的前提下，使用 DSpark 投机解码使生成速度提升了约 15-17%。
- 反直觉的显存分配：将 DSpark 的 drafter 模型放入系统 RAM 而非 VRAM，腾出的显存可用于加载更多目标模型层。由于目标模型层被读取的频率远高于 drafter，这种配置反而使速度提升了 4.4%。
- 推测 token 数量探索：测试发现生成 3 个推测 token 是最佳平衡点，虽然 2 个 token 的接受率更高，但 3 个 token 每轮验证产出的有效 token 数最多。
- q80 KV 缓存几乎无损：使用 q80 量化 KV 缓存，可将上下文从 256K 扩展到 768K，且解码速度基本无损，长文本检索（如 900K token 级别）依然有效。
硬件配置为 Ryzen 9 9950X + 96GB DDR5，模型被拆分为 21 层驻留 GPU，19 层驻留 RAM，整体受限于内存带宽。
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16