纯 Rust 推理引擎 RustingStrata:12GB 显卡跑 Qwen 速度翻倍

Serious_Scarcity7818 · reddit · 2026-11-05

开发者发布 RustingStrata:一个纯 Rust 编写、不依赖 ggml 的 Qwen GGUF 模型推理引擎,CUDA kernel 通过 NVRTC 启动时编译,同一套 kernel 也能跑 Vulkan。

核心技巧:对显存装不下的 MoE 模型,把放不下的专家放在 CPU 上与 GPU 并行,同时持续把高频专家换入 GPU。

实测数据(3060 12GB):

Qwen3.8-Flash-Next(IQ2XS):decode 约 36 tok/s、prefill 约 370 tok/s,原版 Strata 仅 19-22 / 140-146,输出逐 token 一致
Qwen3.6-35B-A3B Q2KXL(11.7GiB 装不下):decode 118 tok/s,调优后的 llama.cpp 仅 68
Qwen3-Next-80B IQ1S 专家基本在 CPU 上仍达 92 tok/s(llama.cpp 约 44)
AMD RX 7900 XT(Vulkan/RADV)上 35B-A3B decode 约 209 tok/s,超过 llama.cpp Vulkan/ROCm

支持 IQ1S 到 Q80 及 BF16/F16 量化,带 OpenAI 兼容服务端、tool calling 和自调优 calibrate 命令。已知短板:冷缓存首条 prompt 的 prefill 受磁盘读取限制,prefill 与 llama.cpp 基本打平。

「Infra」频道最新