纯 Rust 推理引擎让 249GB 大模型跑进 12GB 显存

Serious_Scarcity7818 · reddit · 2026-11-10

RustingStrata 是纯 Rust 写的 GGUF 推理引擎(带 CUDA/Vulkan 后端)，最新实现在单张 RTX 3060 12GB + 30GB 内存上跑起了 DeepSeek-V4.1-Flash IQ2XXS(249GB)：专家权重经页缓存从 SSD 流式加载，显存里用 9GB LRU 缓存热专家，注意力等仍在 GPU 上。

与 llama.cpp b12116(--cpu-moe)同机对比：decode 速度 2-3.6 tok/s 对 0.3-1.5 tok/s，prefill 也明显更快；teacher-forcing 下 top-1 采样与 llama.cpp 一致率 189/192(短 prompt)。目前限制：仅支持贪心解码、上下文上限 4096、尚无采样和工具调用支持，且模型远大于内存时速度受页缓存影响波动大。