单台 DGX Spark 实测：124B 模型连续输出 1.5 万 token
AcanthisittaOk1699 · reddit · 2026-08-14
开发者在单台 DGX Spark 上使用社区 Q5 量化版的 Ling-3.0-flash（124B 参数）进行推理实测。在仅输入 33 个 token 提示词的情况下，模型在单次响应中连续生成了 15,128 个 token，耗时约 7 分钟。
最引人注目的数据是，在整个超长解码过程中，即使 KV cache 随着生成不断累积，模型的解码吞吐量依然极其稳定，从初期的 35.62 tok/s 仅微升至 35.68 tok/s，展现了极强的长文本推理稳定性。
所属事件:单台DGX Spark实测124B模型解码速度无损(2 条相关)→
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16