专题 · FULL STORY
RustingStrata：纯 Rust 推理引擎从发布到实测
开发者 11 月初推出纯 Rust 编写的 GGUF 推理引擎 RustingStrata，单二进制、无 Python 依赖，主打小显存跑大模型。随后开源社区在 RTX 3060 上实测，显示其比 llama.cpp 快约 29% 且质量几乎无损。
2026-11-08 ~ 2026-11-11 · 2 集 · 6 条
第 1 集 · 纯 Rust 推理引擎 RustingStrata 小显存跑大模型速度翻倍(2026-11-08,4 条)
开发者推出纯 Rust 编写的 GGUF 推理引擎 RustingStrata，单二进制、无 Python 依赖，支持 CUDA/Vulkan 后端。在 RTX 3060 12GB 配 32GB 内存、Ryzen 5 7600X 的低配设备上，通过部分专家放置在 CPU 上，可解码 Qwen3.6-35B-A3B（Q2KXL 量化），速度达每秒 160 token，约为 llama.cpp 的两倍，还能把 249GB 的大模型塞进 12GB 显存加 30GB 内存的组合中运行。
- 纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍 — Serious_Scarcity7818 · 2026-11-08
- 纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍 — Serious_Scarcity7818 · 2026-11-08
- 纯 Rust 推理引擎 RustingStrata 跑 Qwen3.6-35B,速度达 llama.cpp 两倍 — Serious_Scarcity7818 · 2026-11-09
- 纯 Rust 推理引擎让 249GB 大模型跑进 12GB 显存 — Serious_Scarcity7818 · 2026-11-10
第 2 集 · RustingStrata 实测：比 llama.cpp 快 29%，质量几乎无损(2026-11-11,2 条)
开源社区实测 RustingStudio 的纯 Rust MoE 推理引擎 RustingStrata：在 RTX 3060 12GB 上，使用同一 Qwen GGUF IQ2XS 量化模型、相同 prompt、greedy 解码生成 128 tokens，纯 Rust 引擎比 llama.cpp 快约 1.29 倍，且质量损失在噪声范围内。该引擎面向在 12GB 显存消费级 GPU 上运行 Qwen 系 MoE 模型的场景。
- RustingStrata 实测：比 llama.cpp 快 1.29 倍，质量损失在噪声范围内 — Serious_Scarcity7818 · 2026-11-11
- RustingStrata 实测:比 llama.cpp 快 29%,质量几乎无损 — Serious_Scarcity7818 · 2026-11-11