3060 上跑 262K 上下文的本地推理配置
UsedMorning9886 · reddit · 2026-07-16
帖子分享了在 **3060 12GB + 32GB DDR5** 上跑 **Qwen3.6-35B-A3B** 的本地配置，目标是在有限硬件上实现高吞吐和完整长上下文。 关键做法包括： - 将 MoE 的 expert FFN 权重强制放到 CPU/系统内存 - attention 和 KV cache 保持在 GPU - 关闭 speculative decoding，使用 flash attention - 通过这些设置实现 **262K 上下文** 和约 **30 t/s** 帖子还提到可以把这个本地推理引擎和开源的本地 memory 方案结合，用于本地自动化或持续任务，避免外部检索和 Docker/云基础设施带来的额外开销。