Red Hat 新推测解码器让 Kimi-K3 吞吐量提升 3.5 倍
teortaxesTex · x · 2026-08-14
Red Hat AI 发布了针对月之暗面 Kimi-K3 模型的 DSpark 推测解码模型，显著提升了推理性能。
- 性能提升：在数学推理任务中，单流交互速度从约 110 tok/s 跃升至 435 tok/s。在匹配交互延迟的负载下，输出吞吐量提升约 3.5 倍。
- 长文本稳定：得益于 2048 token 的滑动窗口注意力机制（覆盖全部 5 层 draft 模型），该模型在 20K 上下文长度内的接受率保持稳定（覆盖 LongBench 10 个领域）。
- 训练细节：由于 Kimi-K3 无法装入单个 GB300 节点，训练采用了多节点设置，通过 Mooncake store 在不同节点组之间流式传输隐藏状态。
所属事件:Red Hat 推出 DSpark 解码器，Kimi-K3 推理大幅提速(2 条相关)→
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16