Kimi-K3 解码提速 4 倍：Red Hat 推出 DSpark 推测解码器
woosuk_k · x · 2026-08-14
Red Hat AI 推出了针对 Kimi-K3 模型优化的 DSpark 推测解码器，大幅提升了推理速度。
- 单流交互：在数学推理任务中，单用户交互速度从约 110 tok/s 跃升至约 435 tok/s。
- 吞吐量：在保持同等交互延迟的负载下，输出吞吐量提升了约 3.5 倍。
- 长文本稳定性：采用 2048-token 的滑动窗口注意力机制（覆盖所有 5 个 draft 层），在 LongBench 的 10 个领域中，模型在长达 20K 的上下文范围内保持了稳定的接受率。
- 该模型基于 vLLM 项目，专为长上下文智能体工作负载设计。
所属事件:Red Hat 推出 DSpark 解码器，Kimi-K3 推理大幅提速(2 条相关)→
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16