双卡跑满 DeepSeek V4-Flash 百万上下文：并发提升 1.5 倍
dee_hw · x · 2026-08-02
开发者纠正了此前关于 2× RTX PRO 6000 仅支持 131K 上下文 的推测，证实得益于 DeepSeek V4-Flash 的滑动窗口注意力（Sliding-window attention）机制，该配置完全可以运行完整的 1M 上下文窗口。
- 显存占用优化：1M 上下文并非物理一次性全部分配，实际 KV cache 仅需保留约 16K tokens 的物理占用。
- 性能实测：在原生 FP4 精度下，于 543K 深度成功通过大海捞针测试（Needle in a haystack）。
- 并发与延迟权衡：通过调低 numbatchedtokens 可将并发数提升至 1.52 倍，但代价是 prefill（预填充）时间从 11.9 秒大幅增加到 120.3 秒。
所属事件:DeepSeek V4 Flash 本地部署潮(26 条相关)→
「Infra」频道最新
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16
- 百度开源 FlashMask：长上下文训练最高比 FlashAttention-4 快 1.55 倍 — BaiduResearch · 2026-10-16
- 独立开发者 GYRO 量化实测：体积更小却达 ISTA Q3 水平 — PlasticRevenue4601 · 2026-10-16
- RL 训练系统已成前沿建模最复杂的基建难题,_best_方案是商业机密 — brianryhuang · 2026-10-16