双 RTX 3060 跑 MoE 出现加载问题
esw123 · reddit · 2026-07-12
作者原本用一张 RTX 3060 时，还能通过 CPU offload 跑 Qwen 3.6 27B、35B 以及 122B。 加上第二张 3060 后，情况反而变差：dense 模型还能正常加载，35B 只能加载一次，122B 直接失败。作者想知道应检查哪些设置，或者有没有解决这类双卡加载问题的方法。
esw123 · reddit · 2026-07-12
作者原本用一张 RTX 3060 时，还能通过 CPU offload 跑 Qwen 3.6 27B、35B 以及 122B。 加上第二张 3060 后，情况反而变差：dense 模型还能正常加载，35B 只能加载一次，122B 直接失败。作者想知道应检查哪些设置，或者有没有解决这类双卡加载问题的方法。