突破内存限制：开源 C 推理引擎实现本地跑 Kimi K3
ab2377 · reddit · 2026-08-03
GitHub 上出现了一个名为 WASTE 的开源项目，它是一个无第三方依赖的嵌入式 C 语言推理引擎。该工具能够让用户在 RAM 不足以容纳完整模型的情况下运行高达 2.78 万亿参数的 Kimi K3 模型。
其核心实现原理是：将模型主干保留在内存中，同时直接从 NVMe 硬盘流式读取被激活的专家网络参数，并将剩余的 RAM 作为有界专家缓存使用。这为本地部署超大参数模型提供了极具潜力的解决方案。
所属事件:开源引擎让Kimi K3在低配设备上运行(7 条相关)→
「Infra」频道最新
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16
- Valtz 新版支持 FLUX.3，Mac 本地生图最高 4K 分辨率 — TgoAI · 2026-10-16