单卡 DGX Spark 运行 Qwen 3.8 MoE 实测方案
QuixiAI · x · 2026-08-29
Shantanu Goel 分享了在单张 NVIDIA DGX Spark (128GB 显存) 上运行 Qwen3.8-Flash-Next (135GB MoE 模型) 的实践方案。通过使用 NVFP4、MTP 推测解码和 CUDA graphs，配合 torch.fromfile 将 PLE 表映射到 NVMe 以解决显存不足问题，同时修改 SGLang 内核限制以适配 GB10 架构。作者测试了实际任务配置而非极限数据，并计划进行更多基准测试。
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15