Kimi K3 2.8T模型零HBM跑出20 tok/s

据报道,拥有2.8万亿参数的Kimi K3开源模型已成功在80张RTX 5090显卡上运行,实现单流20 tok/s的推理速度。该模型打破了传统硬件限制,无需昂贵的HBM显存,仅依赖GDDR7游戏显卡和普通以太网即可完成部署。这一突破得益于官方MXF技术的应用,大幅降低了超大模型推理的硬件门槛。

2026-07-28 ~ 2026-07-28 · 2 条相关