纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata

Serious_Scarcity7818 · reddit · 2026-11-19

作者用 RTX 3060 12GB + 32GB RAM 对比自己的 Rust 引擎 RustingStrata 与 Strata v0.2.13.1,在 Qwen3.8-Flash-Next(专家分布 VRAM+SSD)上跑了 3 组会话的同题测试:

RustingStrata 的定位是通用 GGUF 引擎:单一 Rust 二进制、无 Python/C++ 构建依赖,CUDA 内核首次启动编译,同一套内核跑 Vulkan(支持 AMD 与老 N 卡),支持 Qwen3/Qwen3.5/GLM-5.3-Flash/Gemma 4 等更多模型、IQ1S 到 Q80 全量化、VL 图像输入、运行时 LoRA、双卡层拆分,并提供 OpenAI/Anthropic 兼容 API 与带 MCP 的聊天页。文末附两引擎完整启动命令与 repo 链接。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →