消费级笔记本跑通2.78万亿参数Kimi K3全量模型

rickasaurus · x · 2026-08-01

开发者 Marco Bambini 推出了名为 WASTE（Weight-Aware Streaming Tensor Engine）的全新 C 语言推理引擎，成功在消费级笔记本上运行了未修改的、参数量高达 2.78 万亿的 Kimi K3 完整模型。

该方案的核心在于权重感知流式传输：通过直接从 NVMe 硬盘流式加载当前激活的专家参数，从而绕过显存瓶颈。整个过程无需蒸馏、剪枝或连接云端，保留了完整的开源权重。虽然目前推理速度较慢，但验证了在本地硬件运行超大 MoE 模型的技术可行性。