antirez 用残差预取专家，128GB 小机流畅跑 Kimi K3.1

Redis 作者 antirez 分享了在仅 128GB 内存的电脑上流式运行 Kimi K3.1（相对模型尺寸很小的设备）的技巧：利用上一层的残差提前计算下一层的 MoE router，几乎总能正确预测所需专家，从而实现专家预取（expert prefetch），显著提升小内存机器上流式运行超大模型的流畅度。

2026-11-05 ~ 2026-11-05 · 2 条相关