单卡 5090 跑 KIMI K3 达 5t/s 是否可行？
MLDataScientist · reddit · 2026-08-20
用户质疑单张 RTX 5090 配合 4TB NVMe 能否实现 KIMI K3 模型 5t/s 的解码速度。通过计算显存、系统 RAM 和 SSD 带宽的瓶颈，指出在 80% 专家缓存命中率下理论上勉强可行，但受限于随机读取速度，实际难以达成。文中列举了多个相关后端项目（如 llama-kimibri, ds4）以供验证。
「Infra」频道最新
- 被誉真正好点子：数据中心应成为引以为豪的市政设施 — aronchick · 2026-08-20
- Databricks 推 AI Extract，PDF 提取精度达 95% — jefrankle · 2026-08-20
- 动画实测辟谣：AI 数据中心用水量被严重夸大 — aronchick · 2026-08-20
- Virtuals：机器人数据无法像互联网那样随意抓取 — ai · 2026-08-20
- Cerebras CS-4 探索新解耦架构：混合线性模型分层部署 — AccBalanced · 2026-08-20
- NVIDIA DGX Station 实测：Qwen3.8-27B 推理达 2713 tok/s — NVIDIAAI · 2026-08-20