DeepSeek-V4 黑卡部署实录:修复 SGLang 三大 Bug

shrug_hellifino · reddit · 2026-09-02

作者分享了在双路 RTX PRO 6000 Blackwell (SM120) 上通过 SGLang 运行 DeepSeek-V4-Flash-Vision-Exp 的经验,成功处理了 26.9 万 token 的上下文。过程中解决了三个关键问题:SM120 稀疏 MLA Vision prefill 崩溃(通过添加预填充能力检查并回退到 Triton 实现)、约 269k 上下文导致的索引器 CUDA OOM(通过行切片和分块处理限制显存占用)、以及 Vision 预览破坏多轮工具调用历史的问题。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →