单卡RTX 5090跑满DeepSeek-V4 1M上下文，附详细配置
BlackBeardAI · reddit · 2026-08-04
开发者分享了在单张 RTX 5090 (32GB) 和 256GB DDR5 内存的桌面环境下，成功部署 DeepSeek-V4-Flash 并跑满 100万 (1M) 上下文的实践经验。
部署细节：
- 使用 vLLM 2.3.9 和 CPU/RAM 卸载技术，将大部分 MoE 专家层保留在系统内存中，仅将两层完整的路由 MoE 层常驻 GPU。
- 实现了约 800 tps 的预填充速度和 15+ tps 的解码速度。
- 修复了 FlashInfer 中 CUDA IPC 劫持 TileLang 的底层 Bug。
投机解码表现：作者观察到在处理长链思考时，DSpark 投机解码的表现极不稳定，草稿接受率会暴跌至 30%-50%，导致生成速度降至 11-13 tok/s。
所属事件:单卡RTX 5090成功跑满DeepSeek百万上下文(2 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16