Rust 写的 GGUF 引擎 RustingStrata 1.3.0:大模型显存不够也跑得动

Serious_Scarcity7818 · reddit · 2026-11-23

作者发布 Rust 编写的 GGUF 推理引擎 RustingStrata 1.3.0,定位是跑超出显存容量的大模型:常用 expert 留在 GPU,其余在 CPU 上运行。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →