DGX Spark 跑 MoE 三招提速：MTP 投机解码领先基线 185%
pmttyji · reddit · 2026-10-28
一篇 NVIDIA DGX Spark 上优化 MoE 推理的实操笔记，三项优化叠加效果显著：
- Humming MXFP4 MoE 后端：TPOT 从 27.71ms 降至 25.35ms，吞吐 36.09→39.45 tok/s（+9.3%）
- 在线 FP8 LM head 量化：22.76ms / 43.94 tok/s（累计 +21.7%）
- MTP 投机解码（NEXTN，steps=3 / topk=1 / drafttokens=4）：TPOT 仅 9.72ms，吞吐达 102.88 tok/s（累计 +185.1%）
MTP 是其中收益最大的一项。
「Infra」频道最新
- 云厂商别忘本：企业上云主力仍是计算存储网络等基础服务 — DavidLinthicum · 2026-10-28
- 沙特 HUMAIN 披露 AI 基础设施筹建：选址与电力评估先行 — HUMAIN · 2026-10-28
- llama.cpp 新 PR 融合 MoE 矩阵乘与 GLU,Qwen3 系列 CUDA 吞吐最高提 17% — jacek2023 · 2026-10-28
- 5分钟可视化拆解LLM API调用全链路：从网关到GPU — HowDevelop · 2026-10-28
- 高通 GenieX 让任意 GGUF 模型跑上骁龙 Hexagon NPU，附实测数据 — SkyFeistyLlama8 · 2026-10-28
- 缓存命中价仅 2%：一文讲透 Agent 循环里的 Prefix Caching 省钱术 — Arindam_1729 · 2026-10-28