Ling-3.0-flash 量化实测：MoE 架构让解码速度几乎无损
AcanthisittaOk1699 · reddit · 2026-08-12
社区开发者分享了 Ling-3.0-flash（124B 总参数，5.1B 激活参数）在单台 DGX Spark 上的量化阶梯实测数据。
- 速度表现：在 Q5KM 到 Q6K 的量化阶梯中，单流解码速度均保持在 32 到 40 tok/s 之间。其中 Q5KM 速度最快（40.2 tok/s）且接近无损。
- MoE 优势：由于该模型每次推理仅激活极少参数，降低量化位宽几乎没有折损解码速度。这与传统密集模型（Dense Model）通过降低位宽换取吞吐量的情况截然不同。
- 横向对比：作为参考，在同一硬件上，DeepSeek V4 Flash 的速度为 16.5 tok/s，这意味着 Q5 版本的 Ling-3.0-flash 速度约为其 2.4 倍。
所属事件:单台DGX Spark实测124B模型解码速度无损(2 条相关)→
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16