8GB 显卡跑 115B MoE 达 262K 上下文,70 token/s 实操指南
jonathanx37 · reddit · 2026-10-24
作者分享在 8GB VRAM + 24GB RAM 上运行 Qwen-Flash-Next（115B MoE、6B 激活参数、262K 上下文）的完整方法，用 llama.cpp 达到预填充 70 T/s、生成约 8 T/s。
核心方法论
- 利用 MoE 特性：大部分专家权重留在内存（RAM），最小的专家放 VRAM 提速，n-gram 缓存放磁盘——务必放最快的 SSD。
- 用选择性 MoE offload（正则匹配）比 --n-cpu-moe 更快（受 PCIe 3.0 限制）。
量化澄清
- 使用 ISTA DASLab 的 3.5 BPW GSQ RCO "Coder" 量化。很多人误以为是 1-bit 量化：实际是砍掉一半专家后的剪枝+量化，折算到原参数量为 1.89 bit/参数的有效速率，保留权重本身仍按 3.5 BPW 存储。
- 另有剪掉非编程词汇表的版本，小约 400MB，作者推荐。
实用提示
- MMAP 导致首次运行偏慢，第二次跑才测得准确速度。
- 建议使用 Qwen Sharp chat template 以减少模型过度思考。
- 启动参数在帖子评论中给出；总内存约 32GB 也能跑，但需降低上下文长度。
「编程与Agent」频道最新
- Flywheel 推出本地 UI：图表全在本机跑，无需账号联网 — tensorqt · 2026-10-25
- Hermes Agent 五项设置帮你省 token，还有四条内置诊断命令 — alexcovo_eth · 2026-10-25
- Flint 被评为前三日常编码驱动，本地模型 MLX 零日支持 — altryne · 2026-10-25
- 开发者:AI Agent 把自托管迁移成本降到「天」级,自建服务器更划算 — kuza55 · 2026-10-24
- PyMemoryEditor:让 agent 直接读写进程内存的 MCP 工具 — SupermarketTrue7507 · 2026-10-24
- 不改模型只改 harness:Google 论文让 agent 提升 16 分 — alex_verem · 2026-10-24