普通笔记本跑 2.78 万亿参数 Kimi K3：WASTE 引擎实现 0.5 TPS
zainhas · x · 2026-08-01
开源项目 WASTE (Weight-Aware Streaming Tensor Engine) 实现了在普通消费级笔记本上运行高达 2.78 万亿参数的 Kimi K3 模型。
- 核心机制：通过 NVMe 直接流式传输激活的权重，从而突破物理内存（RAM）容量的限制。
- 性能表现：在 64GB 内存的机器上，能够以约 0.5 tokens/s 的速度进行推理。
- 项目特点：这是一个无额外依赖、可嵌入的 C 语言推理引擎，目前已在 GitHub 上开源。
所属事件:开源引擎让Kimi K3在低配设备上运行(7 条相关)→
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16