普通笔记本跑 2.78 万亿参数 Kimi K3：WASTE 引擎实现 0.5 TPS
zainhas · x · 2026-08-01
开源项目 WASTE (Weight-Aware Streaming Tensor Engine) 实现了在普通消费级笔记本上运行高达 2.78 万亿参数的 Kimi K3 模型。
- 核心机制：通过 NVMe 直接流式传输激活的权重，从而突破物理内存（RAM）容量的限制。
- 性能表现：在 64GB 内存的机器上，能够以约 0.5 tokens/s 的速度进行推理。
- 项目特点：这是一个无额外依赖、可嵌入的 C 语言推理引擎，目前已在 GitHub 上开源。
所属事件:开源引擎WASTE让普通笔记本跑通万亿参数Kimi K3(3 条相关)→
「Infra」频道最新
- 美数据中心游说团砸重金投放 AI 生成广告，资金流向成黑箱 — ShakeelHashim · 2026-08-01
- 2026年DePIN迎来黄金期：AI驱动去中心化算力与代理经济 — 0xJeff · 2026-08-01
- 告别每月200美元订阅费：本地AI部署的十个降本阶梯 — jason_mayes · 2026-08-01
- 本地运行 MXFP4 实测：OpenRouter 上的 DS4 Flash 供应商质量参差不齐 — antirez · 2026-08-01
- DeepSeek V4 Flash 本地跑分追平 5 个月前顶级模型 — joorklee · 2026-08-01
- 新方法实现MoE模型提前路由，大幅优化端侧流式推理I/O瓶颈 — dai_app · 2026-08-01