antirez:用上一层残差预取专家,K3.1 流式跑进 128GB 小机器
antirez · x · 2026-11-05
antirez 分享在 128GB 小型机器上流式运行 K3.1（相对模型体积而言很小的设备）的技巧：用上一层残差提前运行下一层的 router 做专家预取（expert prefetching），评分上几乎总能正确预测出 top-4 专家，因此可以提前向 SSD 发出读取提示（SSD hint），实现内存受限环境下的高效推理。
所属事件:antirez 用残差预取专家，128GB 小机流畅跑 Kimi K3.1(2 条相关)→
「Infra」频道最新
- 爆料称 CoreWeave 失去债券市场渠道，或难兑 2027 年债务 — SumitGup · 2026-11-05
- Bratton：反数据中心运动是 2020 年代的「反核运动」 — bratton · 2026-11-05
- 康奈尔造出带隙超 7 eV 半导体,刷新纪录可耐更高电压 — AviatorAshley · 2026-11-05
- SiTime 营收 2.987 亿美元，同比暴增 257% — BenBajarin · 2026-11-05
- George Hotz 将在 CMU 开课：一学期从零手写 ML 编译器到 GPU 训练 LLM — QuixiAI · 2026-11-05
- 开发者指出：CI 成本随 token 价格水涨船高 — aniketmaurya · 2026-11-05