antirez 用上一层残差预取专家，128GB 小机流畅跑 Kimi 3.1
antirez · x · 2026-11-05
antirez 分享了在 128GB 小内存电脑上流式运行 Kimi K3.1（模型尺寸相对内存很大）的技巧：利用上一层残差先行计算下一层的 MoE router，几乎总能正确预测得分最高的 4 个专家，从而提前向 SSD 发出预取提示，掩盖专家加载延迟。他还表示同样的思路应该也适用于 DeepSeek 4.1 Flash。
所属事件:antirez 用残差预取专家，128GB 小机流畅跑 Kimi K3.1(2 条相关)→
「Infra」频道最新
- 爆料称 CoreWeave 失去债券市场渠道，或难兑 2027 年债务 — SumitGup · 2026-11-05
- Bratton：反数据中心运动是 2020 年代的「反核运动」 — bratton · 2026-11-05
- 康奈尔造出带隙超 7 eV 半导体,刷新纪录可耐更高电压 — AviatorAshley · 2026-11-05
- SiTime 营收 2.987 亿美元，同比暴增 257% — BenBajarin · 2026-11-05
- George Hotz 将在 CMU 开课：一学期从零手写 ML 编译器到 GPU 训练 LLM — QuixiAI · 2026-11-05
- 开发者指出：CI 成本随 token 价格水涨船高 — aniketmaurya · 2026-11-05