极限压榨：29GB 内存跑 Kimi K3，速度 0.5 tok/s
marcobambini · hn · 2026-07-31
开发者分享了一项极限资源挑战，展示了如何在仅有 29GB 内存的环境下运行 Kimi K3 模型。尽管推理速度仅为 0.5 tok/s，但该项目证明了在消费级或受限硬件上部署超大规模模型的技术可行性。
「Infra」频道最新
- Cursor 团队 Git 大作获赞：无状态存储将重写基础设施 — thesephist · 2026-08-24
- AI 性能工程资源清单 v2 发布：从单次推理到 MoE serving 全覆盖 — AccBalanced · 2026-08-24
- 韩国半导体工程师地位超越医生，家长意愿成风向标 — SuB8u · 2026-08-24
- 现代编程的“VendorOps”困局 — vboykis · 2026-08-24
- 本地开发高效且可控，何必一味依赖云端 — vboykis · 2026-08-24
- 在 PrimeIntellect 训练，用 Modal 渲染 rollout — willcb · 2026-08-24