Kimi K3 据称已在 80 张 RTX 5090 上零 HBM 运行
markjeffrey · x · 2026-07-28
Kimi K3 被曝可在 80 张 RTX 5090 上运行
被引用的帖子称，完整的 Kimi K3 模型——据说有 2.8 万亿参数——已经能跑在 80 张 RTX 5090 上，单流吞吐约 20 tok/s，而且还是 day one、未调优 的状态。
关键点
帖子强调这是一种“首个开源权重前沿模型”的部署方式：
- 不使用 HBM
- 只靠 GDDR7 游戏卡
- 通过普通以太网连接
- 使用官方 MXFP4 权重，且 没有重新量化
这背后的含义是，最强级别的开源模型可能开始脱离昂贵 HBM 方案，转而用更常见的消费级 GPU 进行托管、微调和 agent 运行。
所属事件:Kimi K3 2.8T模型零HBM跑出20 tok/s(2 条相关)→
「Infra」频道最新
- Kimi K3 的 tokenizer 优化把首 token 延迟降了约 325 毫秒 — philipkiely · 2026-07-28
- Ben Bajarin 复盘：AI 最大误判是低估 GPU 供应链浪潮 — BenBajarin · 2026-07-28
- Palantir 称其美国政府 AI 平台基于开源权重和 NVIDIA GPU — eliano · 2026-07-28
- Kimi K3 上线 Dell 服务器，支持 day-0 本地部署 — _akhaliq · 2026-07-28
- Claude Opus 5 跑分领先，早期用户却嫌它总半途而废 — The AI Daily Brief · 2026-07-28
- engy.ai推出已验证推理API，支持GLM-5.2等开源模型，提供加密证明 — markjeffrey · 2026-07-28