纯 Rust 推理引擎 RustingStrata 让小显存跑 Qwen 大模型

开发者发布纯 Rust 编写、不依赖 ggml 的推理引擎 RustingStrata,通过 NVRTC 启动时编译 CUDA kernel,使 Qwen GGUF 模型在 12GB 显卡上速度翻倍。更新后支持将放不进显存的 MoE 专家层卸载到 CPU,让大模型在单张消费级 GPU 加系统内存上运行,双卡场景提速 4 倍。在 RTX 3060 12GB + 32GB 内存的普通桌面机上,该引擎可跑 177B 模型,prefill 最高比 llama.cpp 快 1.5 倍。

2026-11-05 ~ 2026-11-06 · 3 条相关

• 纯 Rust 推理引擎 RustingStrata:12GB 显卡跑 Qwen 速度翻倍 — Serious_Scarcity7818 · 2026-11-05
• 单卡跑百GB MoE：RustingStrata 用 CPU 卸载专家层，双卡提速 4 倍 — Serious_Scarcity7818 · 2026-11-06
• RustingStrata 实测：12GB 显卡跑 177B，prefill 最高快 1.5 倍 — Serious_Scarcity7818 · 2026-11-06