DeepSeek-V4 黑卡部署实录:修复 SGLang 三大 Bug
shrug_hellifino · reddit · 2026-09-02
作者分享了在双路 RTX PRO 6000 Blackwell (SM120) 上通过 SGLang 运行 DeepSeek-V4-Flash-Vision-Exp 的经验,成功处理了 26.9 万 token 的上下文。过程中解决了三个关键问题:SM120 稀疏 MLA Vision prefill 崩溃(通过添加预填充能力检查并回退到 Triton 实现)、约 269k 上下文导致的索引器 CUDA OOM(通过行切片和分块处理限制显存占用)、以及 Vision 预览破坏多轮工具调用历史的问题。
「编程与Agent」频道最新
- 开发者用 AI 解读 1883 年装饰设计经典,复现 Bourgoin 装饰结构网络 — debreuil · 2026-10-18
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万,Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版:AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源:默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent:抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18