RTX 3060 12GB 实测:RustingStrata 跑 Qwen3.6-35B 全胜 llama.cpp
Serious_Scarcity7818 · reddit · 2026-11-10
Reddit 用户在一张 RTX 3060 12GB(配 Ryzen 5 7600X、32GB 内存)上,用同一个 Unsloth GGUF 文件(Qwen3.6-35B-A3B-UD-Q3KM,15.9 GiB,超出显存)对比了三个推理引擎:
- RustingStrata:prefill 2330 tok/s;无 MTP 解码 90.9 tok/s,开 MTP 后 128.4 tok/s
- PolyStrata:prefill 1458-1549 tok/s;解码 78.5 tok/s(无 MTP)/约 100 tok/s(开 MTP)
- llama.cpp b12119:prefill 1692 tok/s(-ncmoe 22);解码 53.5 tok/s,开 draft-mtp 后 77.7 tok/s(草稿接受率 92/102)
测试用 5290 token prompt、生成 128 token,均取 3 次平均。作者详细列出了各引擎的运行参数与不公平因素:PolyStrata 只支持三种量化且基于 llama.cpp CUDA 内核;MTP 收益依赖文本内容,两边 prompt 不同;无 MTP 行才是 RustingStrata vs llama.cpp 的干净对比。值得注意的是,即便是 3B 激活参数的 MoE 模型,在新引擎上也能在 12GB 消费卡跑出约 128 tok/s 的解码速度。
「Infra」频道最新
- 开源模型本地部署算账：Kimi K3.1 权重 594GB，四台 Mac Studio 仅 15 tok/s — ravikantagrawal · 2026-11-10
- InfraRSI 用递归自我改进优化训练基建：MFU 从 17.4% 提到 30%，加速至 2.75 倍 — TokenRhythm · 2026-11-10
- ClickBench 推出在线 Playground，可同时对 110+ 数据库跑 SQL — mgill25 · 2026-11-10
- 马斯克：Grok 新训练栈源自 Starlink 工程，自研时间与报文头 — elonmusk · 2026-11-10
- 4 张 3090 换 1 张 5090?马来西亚创业者纠结 GPU 升级路线 — whity2773 · 2026-11-10
- Hybrid-Spark 推理加速：按步切换草稿模型最高提速 1.62 倍 — Julianfmack · 2026-11-10