Red Hat 推出 DSpark 解码器,Kimi-K3 推理大幅提速
Red Hat AI 推出了专为月之暗面 Kimi-K3 模型优化的 DSpark 推测解码器,大幅提升了模型的推理性能。在数学推理任务中,该解码器显著加快了处理速度,单流交互速度实现成倍提升,有效解决了大模型在实际应用中的吞吐量瓶颈。
2026-08-14 ~ 2026-08-14 · 2 条相关
- Red Hat 新推测解码器让 Kimi-K3 吞吐量提升 3.5 倍 — teortaxesTex · 2026-08-14
另有 1 条近重复转述:woosuk_k