双 DGX Spark 跑 DeepSeek-V4.1-Flash：TensorFold 解码达 vLLM 套件 2.3 倍
shayanx45 · reddit · 2026-10-18
作者在两台 NVIDIA DGX Spark（CX7 线缆 TP=2）上运行 DeepSeek-V4.1-Flash-1017（EXL3 2.9bpw，1M 上下文），对比同一权重同一 prompt：TensorFold 引擎解码速度达 vLLM 套件的 2.1-2.3 倍——文本 56.8 vs 27.0 tok/s，代码 92.2 vs 39.9 tok/s，64K 大海捞针从 80.4s 降到 35.9s，且支持 4 并发（总计 140 tok/s），vLLM 套件只能串行。
作者在此基础上补齐 agent 可用性：支持 DSML 格式的强制工具调用（named/required toolchoice，此前返回 400）、与 DeepSeek 参考编码器字节一致的 prompt、jsonschema/regex/choice 输出，以及单请求故障不再拖垮整条推理通道。
其他优化与已知问题：prompt 落盘使 18K token 会话重启后 2.7s（原 16.8s）恢复；draft depth 5 优于 4（代码 95 vs 89 tok/s）。缺点是启动后首个长 prompt 多花约 6s（疑似 NVMe 冷读 Engram），32K 长 prompt 预填充比参考配方低 30-37%（1707 vs 2421 tok/s，原因不明，征集其他 Spark 用户对比）。
「Infra」频道最新
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18
- SemiAnalysis 的 vLLM 提速对比被质疑：TP16 对 TP8 基线 — JiaZhihao · 2026-10-18
- Blackstone 全线押注 AI:2000 亿美元数据中心组合与 950 亿芯片融资 — SuB8u · 2026-10-18
- NVIDIA RTX VFX 扩展装不上？一条 pip 命令搞定 ComfyUI 安装 — Mad4reds · 2026-10-18