极限压榨：29GB 内存跑 Kimi K3，速度 0.5 tok/s
marcobambini · hn · 2026-07-31
开发者分享了一项极限资源挑战，展示了如何在仅有 29GB 内存的环境下运行 Kimi K3 模型。尽管推理速度仅为 0.5 tok/s，但该项目证明了在消费级或受限硬件上部署超大规模模型的技术可行性。
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16