16GB 显卡跑 177B MoE:SSD 流式推理实测 9-10 tok/s
TypicalPudding6190 · reddit · 2026-09-28
开发者团队发布 Inferred-Thoughts 推理引擎,让放不进显存+内存的 MoE 大模型从 SSD 按需流式读取专家权重,在 RTX 5060 Ti 16GB + 32GB RAM + Gen5 NVMe 上跑通 Qwen3.8-Flash-Next 177B NVFP4(119 GiB),解码 9-10 tok/s,对比同机 llama.cpp 的 4.9 tok/s 翻倍。
119 GiB 怎么摆:
- 稠密权重 4.4 GiB + 最热专家 8.8 GiB 放显存
- token 嵌入 0.6 GiB + 次热专家 6 GiB 用锁定内存
- 其余 48.5 GiB 路由专家 + 50.7 GiB n-gram 表留在 SSD,按需流式读取
关键技术与数据:
- GCLOCK 驻留淘汰 + lookahead prefetch 提前预取下一层专家
- NVFP4 矩阵乘直接在 tensor core 上 FP4×FP4,不解包
- 每 token 约用 480 个专家,约 377 个命中显存/内存,103 个从 SSD 读取(约 270 MiB/token),约 75% 命中率是达到 9 tok/s 的关键
- prefill 49.2 tok/s;几乎只读不写,SSD 磨损小,但长时间运行 SSD 到 70°C
- 也支持 Qwen3.6-35B-A3B NVFP4,调优后 4k 上下文解码 47.3 tok/s
限制: 仅 RTX 50 系(sm120)、Windows 11/WSL2、贪心解码;附带 OpenAI 兼容 server,支持工具调用(与 Cline 测试中)和内置聊天页。团队预计 v2 通过更好的 SSD 流式优化可到 14-15 tok/s。开源仓库与模型权重均已放出。
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- 美国 BIS 新规封堵境外远程调用先进 AI 芯片的漏洞 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16