纯 Rust 推理引擎 RustingStrata 跑 Qwen3.6-35B,速度达 llama.cpp 两倍
Serious_Scarcity7818 · reddit · 2026-11-09
开发者在 3060 12GB + Ryzen 5 7600X + 32GB DDR5 的低配设备上，用纯 Rust 编写的 MoE 推理引擎 RustingStrata 对比 llama.cpp 跑 unsloth 的 Qwen3.6-35B-A3B UD-Q5KM（MTP 版，约 2/3 专家放 CPU）：
- 短 prompt 解码 70 tok/s vs 43；4K prompt 后解码 65 vs 43
- 4K prefill 约 1870 vs 1210（prefill 约为 llama.cpp 的 2 倍）
- 32K 上下文：1470 prefill / 49 decode vs 1030 / 29
- 双方都开 MTP 时仍领先：约 62 vs 45-56 tok/s；llama.cpp 的 MTP 草案接受率约 63%、解码提升约 25%
- Vulkan 后端解码约 60（开 MTP 85），prefill 慢于 CUDA
KV cache 为 f16，代码已在 GitHub 开源，作者征求 AMD 用户的反馈。
所属事件:纯 Rust 推理引擎 RustingStrata 小显存跑大模型速度翻倍(4 条相关)→
「Infra」频道最新
- 二手 32GB 显卡怎么选：MI50 比 V100 便宜近半 — Gold-Produce9591 · 2026-11-13
- 语音模型踩坑提醒：SIP 干线务必拿到 16kHz 音频 — pbbakkum · 2026-11-13
- 开源内核代码明显面向 Blackwell，暗示推理已上 BW — teortaxesTex · 2026-11-13
- 供应链前瞻：英伟达 Q3 约赚 1130-1140 亿美元，指南才是风险 — tengyanAI · 2026-11-13
- Railway 遭黑客攻击损失 74 万美元 AI token,承诺兜底赔偿 — shauntrennery · 2026-11-13
- 开源工具 Dukoi:两分钟把旧安卓手机变成免费部署服务器 — Scobleizer · 2026-11-13