单卡RTX 5090跑满DeepSeek-V4 1M上下文，附详细配置
BlackBeardAI · reddit · 2026-08-04
开发者分享了在单张 RTX 5090 (32GB) 和 256GB DDR5 内存的桌面环境下，成功部署 DeepSeek-V4-Flash 并跑满 100万 (1M) 上下文的实践经验。
部署细节：
- 使用 vLLM 2.3.9 和 CPU/RAM 卸载技术，将大部分 MoE 专家层保留在系统内存中，仅将两层完整的路由 MoE 层常驻 GPU。
- 实现了约 800 tps 的预填充速度和 15+ tps 的解码速度。
- 修复了 FlashInfer 中 CUDA IPC 劫持 TileLang 的底层 Bug。
投机解码表现：作者观察到在处理长链思考时，DSpark 投机解码的表现极不稳定，草稿接受率会暴跌至 30%-50%，导致生成速度降至 11-13 tok/s。
「Infra」频道最新
- Cloudflare推出Agent专用钱包，支持稳定币自主支付 — op7418 · 2026-08-04
- Meta推出内核开发新DSL语言Helion — ariG23498 · 2026-08-04
- DeepSeek V4 Flash 2-bit 量化版本地跑出 100% SQL 评测 — grumd · 2026-08-04
- 成立7个月获30亿美元融资，Volta携百亿Anthropic订单入场 — matt_slotnick · 2026-08-04
- 128核CPU集群跑Codex：算力新解法 — BenBajarin · 2026-08-04
- RTX 6000 加载需 10 分钟？开发者排查 ComfyUI 推理瓶颈 — buttplugs4life4me · 2026-08-04