两步优化让 Ling-3.0-flash INT4 推理速度提升 85%
AcanthisittaOk1699 · reddit · 2026-08-10
开发者 sudoingX 在单台 DGX Spark 上成功运行了 Ling-3.0-flash 的官方 INT4 量化版本，并通过两项关键调整将推理速度从 20.8 tok/s 提升至 38.7 tok/s。
优化配置如下：
- 禁用 eager 模式：移除 --enforce-eager 参数，使 vLLM 的 cudagraphs 正常生效。
- 开启推测解码：利用模型自带的 draft 层，配置 bailinghybridv3mtp 方法进行 1 token 的投机解码。
重要避坑提示：原版 vLLM 目前不支持该模型架构，会静默走错注意力路径并输出看似流畅实则错误的内容。必须使用专用的 fork 版本（inclusionAI/vllm-ling-v3）才能正确运行。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16