Kimi-K3 解码提速 4 倍：Red Hat 推出 DSpark 推测解码器
woosuk_k · x · 2026-08-14
Red Hat AI 推出了针对 Kimi-K3 模型优化的 DSpark 推测解码器，大幅提升了推理速度。
- 单流交互：在数学推理任务中，单用户交互速度从约 110 tok/s 跃升至约 435 tok/s。
- 吞吐量：在保持同等交互延迟的负载下，输出吞吐量提升了约 3.5 倍。
- 长文本稳定性：采用 2048-token 的滑动窗口注意力机制（覆盖所有 5 个 draft 层），在 LongBench 的 10 个领域中，模型在长达 20K 的上下文范围内保持了稳定的接受率。
- 该模型基于 vLLM 项目，专为长上下文智能体工作负载设计。
所属事件:Red Hat 推出 DSpark 解码器，Kimi-K3 推理大幅提速(2 条相关)→
「Infra」频道最新
- 曝 OpenAI 购入 Cerebras 4.2% 股份，为超快速模型发布铺路 — ryanmerket · 2026-08-14
- 黄仁勋回顾 DGX 十周年：新桌面机算力达初代 5 倍 — nvidia · 2026-08-14
- 英伟达携手 Runway：一天内将 Gen-4.5 引入 Vera Rubin 平台 — nvidia · 2026-08-14
- RTX 5090实测：SageAttention视频生成提速近2倍 — gabxav · 2026-08-14
- CoreWeave 推出沙盒环境：手机即可远程驱动 Claude 智能体 — wandb · 2026-08-14
- AI 算力基建遇阻？预测市场押注美国将出台数据中心禁令 — Polymarket · 2026-08-14