2x DGX Spark 跑 DeepSeek v4.1 Flash:代码 103 tok/s 全场最快
EAccelerate_42 · x · 2026-10-12
网友 @sudoingX 用 vLLM 在两台 NVIDIA DGX Spark 上跑通 DeepSeek v4.1 Flash,自建量化权重刷新速度纪录:
- 结构化输出 141.3 tok/s,代码 103.0 tok/s,散文 58.3 tok/s——代码与结构化输出比此前最好的 vLLM 方案快 2.5 倍,并超过 tensorfold v0.6.0
- 支持单请求 262k 上下文;在 8k256k 长度的大海捞针测试 3/3 全中,256k 提示词下解码仍稳定在 76 tok/s
- prefill 1,395–1,475 tok/s(自称短板);专家部分量化到 2.70 bits(优于对比方案的 2.9 bits),自己从官方 checkpoint 量化并与原生模型对比验证质量损失
展示了消费级/工作站级双机如何通过激进量化 + vLLM 调优承载超大 MoE 模型。
所属事件:双 DGX Spark 跑通 DeepSeek v4.1 Flash，代码生成 103 tok/s 创纪录(2 条相关)→
「Infra」频道最新
- 微软拟 2027 年起以吉瓦级规模部署自研 Maia 芯片主扛推理 — The Decoder · 2026-10-12
- 微软计划大规模部署自研 AI 芯片,瞄准削减算力成本 — pstAsiatech · 2026-10-12
- Ragged KV 让循环语言模型推理 FLOPs 直降 25%，无需重训练 — DanielKhashabi · 2026-10-12
- NVIDIA 提出 ELR:单 checkpoint 循环推理,4 圈提升 7.25 分无单圈税 — nvidia · 2026-10-12
- 吃灰旧笔记本变身家庭服务器:Proxmox+NetBird 入门指南 — aestheticedwar1 · 2026-10-12
- 实测单通电话转写仅 0.02 美元,Whisper 二次转写还纠正了实时 ASR 漏听 — Kindly-Duty272 · 2026-10-12