RustingStrata 实测：12GB 显卡跑 177B，prefill 最高快 1.5 倍

Serious_Scarcity7818 · reddit · 2026-11-06

作者在 RTX 3060 12GB + Ryzen 5 7600X + 32GB 内存的普通桌面机上，用 RustingStrata 与 llama.cpp 背靠背跑遍手头所有 Qwen GGUF 量化模型（每组两次取均值，桌面开着浏览器和 Discord，未做调优）。

核心结论

小稠密模型：llama.cpp prefill 仍更快（如 2B 上 6080 vs 3859 tok/s），decode 互有胜负
模型一旦超出显存（35B/80B/177B 装进 12GB 卡），Strata 优势明显：prefill 约 1.5 倍，decode 最高约 2 倍
Qwen3.6-35B-A3B：prefill 1539 vs 1029，decode 71.5 vs 39.6 tok/s
Qwen3-Next-80B-A3B：decode 63.7 vs 33.3 tok/s
177B Flash-Next：prefill 305 vs 193，decode 21.3 tok/s
80B 在 3060 上跑到 64 tok/s、177B 达 21 tok/s
开 MTP 后 35B decode 可到约 160 tok/s；手工调优的 llama.cpp（-ncmoe 12）在 35B 上仍更强（2236 prefill / 68 decode）

帖内给出了双方完整 benchmark 命令，可复现。这是纯 Rust 的 MoE 推理引擎在超显存场景下的亮眼实测。

「Infra」频道最新