Reddit 用户在双 5090 家庭主机上跑出 Kimi K3 约 4 t/s
iVoider · reddit · 2026-07-30
一位 Reddit 用户分享了在 home lab 上跑 Kimi K3 的初步实测：机器配置是 768GB DDR5 + 2 张 5090，最终解码速度大约 4 t/s，而长提示词的 prefill 速度能到 50–70 tps。
作者还观察到一个有点反常的现象：解码速度似乎会随着时间变快，猜测可能和 warmup 或 swap 有关。不过基准工具直接崩了，所以没法给出更完整的对比数据。
「Infra」频道最新
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示 — NVIDIAAI · 2026-10-16
- 浮点数为何存不下 0.2：IEEE 754 从二进制到舍入的原理拆解 — Franc0Fernand0 · 2026-10-16
- Sabaki：毫秒级 CPU 路由器，用准确率换 1000 倍延迟优势 — Fox3000foxy · 2026-10-16
- BitRun 在纯 CPU 跑 1-bit LLM：8B 模型 2GB 内存、21 t/s — The_VibePreneur · 2026-10-16
- MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s — heyshrutimishra · 2026-10-16