开源引擎Waste：29GB内存即可跑Kimi K3
galapag0 · reddit · 2026-08-01
开发者 galapag0 在 Reddit 上分享了一个名为 Waste（Weight-Aware Streaming Tensor Engine）的开源项目。该项目是一个权重感知流式张量引擎，能够让普通消费级硬件也跑得动庞大的模型。
通过该引擎，用户仅需 29 GB 的 RAM 即可运行 Kimi K3 大模型，推理速度达到 0.50 tok/s。这为在低显存/内存设备上部署大型 MoE 模型提供了极具实用价值的解决方案。
所属事件:开源引擎WASTE让普通笔记本跑通万亿参数Kimi K3(3 条相关)→
「Infra」频道最新
- 告别每月200美元订阅费：本地AI部署的十个降本阶梯 — jason_mayes · 2026-08-01
- 本地运行 MXFP4 实测：OpenRouter 上的 DS4 Flash 供应商质量参差不齐 — antirez · 2026-08-01
- DeepSeek V4 Flash 本地跑分追平 5 个月前顶级模型 — joorklee · 2026-08-01
- 新方法实现MoE模型提前路由，大幅优化端侧流式推理I/O瓶颈 — dai_app · 2026-08-01
- 5TB数据存储于微小玻璃片，微观存储技术新突破 — TansuYegen · 2026-08-01
- antirez 实现 DeepSeek v4 Flash 无损 MXFP4 本地运行 — antirez · 2026-08-01