Reddit 用户在双 5090 家庭主机上跑出 Kimi K3 约 4 t/s
iVoider · reddit · 2026-07-30
一位 Reddit 用户分享了在 home lab 上跑 Kimi K3 的初步实测：机器配置是 768GB DDR5 + 2 张 5090，最终解码速度大约 4 t/s，而长提示词的 prefill 速度能到 50–70 tps。
作者还观察到一个有点反常的现象：解码速度似乎会随着时间变快，猜测可能和 warmup 或 swap 有关。不过基准工具直接崩了，所以没法给出更完整的对比数据。
「Infra」频道最新
- 台积电披露先进制程路线图：N3 量产定于 2027 年 — Beth_Kindig · 2026-07-30
- 纽约时报：海量 AI 算力即将上线，势将引发技术能力大跃迁 — coolbern · 2026-07-30
- 美光前瞻市盈率仅约5倍，分析师押注AI算力需求 — JOBhakdi · 2026-07-30
- Gavin Baker：AI 需求火热，算力租金可能继续上涨 — GavinSBaker · 2026-07-30
- NVIDIA 推 Jetson AGX Orin：275 TOPS 面向机器人和边缘 AI — NVIDIA Developer · 2026-07-30
- LiveKit 称 Gemma 4 31B 语音首 token 仅 192 毫秒 — GlennCameronjr · 2026-07-30