低配本地跑超大模型的经验
Felix_455-788 · reddit · 2026-07-12
作者在一台配置较弱的笔记本上跑 100B 到 200B 以上的大模型，主要依赖 **MoE 模型、量化、mmap** 和把部分参数“丢到 NVMe/CPU”上来维持可用性。 他提到自己主要用 **LM Studio**，跑过 **Deepseek-V4-Flash（UD-IQ3_XXS）** 和 **Nemotron-3-Super-120B-A12B（UD-Q3_K_M）**，速度大约在 **1.0–2.5 tok/s**。因为是“批处理式”使用——发任务后先去忙别的——所以他觉得足以完成逆向、Bug 修复和代码审计。 最后他说明自己主要用 **opencode** 和 **Pi**，上下文长度大约在 **16K–90K**，并表示受制于所在国家的支付限制，无法长期依赖云模型，因此会在极端情况下继续使用这类本地大模型。