Red Hat 新推测解码器让 Kimi-K3 吞吐量提升 3.5 倍
teortaxesTex · x · 2026-08-14
Red Hat AI 发布了针对月之暗面 Kimi-K3 模型的 DSpark 推测解码模型，显著提升了推理性能。
- 性能提升：在数学推理任务中，单流交互速度从约 110 tok/s 跃升至 435 tok/s。在匹配交互延迟的负载下，输出吞吐量提升约 3.5 倍。
- 长文本稳定：得益于 2048 token 的滑动窗口注意力机制（覆盖全部 5 层 draft 模型），该模型在 20K 上下文长度内的接受率保持稳定（覆盖 LongBench 10 个领域）。
- 训练细节：由于 Kimi-K3 无法装入单个 GB300 节点，训练采用了多节点设置，通过 Mooncake store 在不同节点组之间流式传输隐藏状态。
「Infra」频道最新
- OpenAI 预览 Ultrafast 模式：GPT-5.6 Sol 推理速度飙升 14 倍 — OpenAI · 2026-08-14
- Polymarket押注英伟达年底市值登顶，概率高达73% — Polymarket · 2026-08-14
- 驳斥AI数据中心七大流言：耗水、推高电价纯属无稽之谈 — Dan_Jeffries1 · 2026-08-14
- 芝加哥市长签署行政令：暂停新建数据中心 — pstAsiatech · 2026-08-14
- 算力成新石油：Kalshi等巨头竞逐百万亿级算力期货市场 — fortune · 2026-08-14
- Cloudflare CEO：网络非人类流量已超人类，五年内将达千倍 — Beth_Kindig · 2026-08-14