单卡 RTX 5090 跑满 DeepSeek 100万上下文，双 CUDA 图让推理提速
BlackBeardAI · reddit · 2026-08-05
开发者分享了在单张 RTX 5090 显卡上运行 DeepSeek-V4-Flash-0731（155GB）并保持原生 100万 token 上下文的最新优化进展。
此前使用固定推测解码深度时，模型在复杂推理阶段和最终代码生成阶段的接受率差异巨大，导致吞吐量不稳定。为此，作者开发了阶段自适应机制：
- 检测到模型处于 <think> 推理阶段时，自动切换至 K=1；
- 检测到输出常规内容或代码时，切换回 K=2。
为解决切换后 CUDA Graph 形状不匹配导致性能暴跌的问题，作者进一步实现了双 CUDA 图捕获，确保两种推测深度都能高效运行。最终在满载 100万上下文时，推理速度提升至约 13.8 tok/s，代码生成达 17.0 tok/s。
所属事件:单卡RTX 5090成功跑满DeepSeek百万上下文(2 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16