单台 DGX Spark 跑 Qwen3.8 Flash NVFP4：1M 上下文实测方案
BLUECOW009 · x · 2026-09-04
Mia AI Lab 发布了一套在单台 DGX Spark（121 GiB 统一内存，TP=1）上通过 vLLM 部署 Qwen3.8-Flash-Next NVFP4（99 GB 权重）的完整配方，PLE 表离线并内存映射加载。
实测性能：
- 最高 1M 上下文，KV cache 达 1,431,164
- 支持文本、图像与视频的多模态输入
- 单流解码 37 tok/s，4 并发流最高 86 tok/s
- prefill 1500-2000 tok/s，通过 400k prefill 压力测试
作者认为这是目前单台 DGX Spark 上最佳模型选择，优于 Qwen3.8-27B 和单机版 DeepSeek v4 Flash。仓库提供 start.sh/stop.sh 脚本，约 10-12 分钟完成启动，还写明了 /dev/shm 泄漏等踩坑规避。
「Infra」频道最新
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21
- LithosAI 承包 Artificial Analysis 12 项第一：GLM 5.3 Flash 跑出 1543 tok/s — JiaZhihao · 2026-10-21