纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata
Serious_Scarcity7818 · reddit · 2026-11-19
作者用 RTX 3060 12GB + 32GB RAM 对比自己的 Rust 引擎 RustingStrata 与 Strata v0.2.13.1,在 Qwen3.8-Flash-Next(专家分布 VRAM+SSD)上跑了 3 组会话的同题测试:
- 生成速度:RustingStrata 开 MTP 草稿 28.3 tok/s vs Strata 26.1 tok/s;首 token 等待 5.4s vs 6.9s;重复请求 36.9 vs 28.5 tok/s
- MTP 草稿接受率 82% vs 69%,但本场景草稿只带来约 6% 提升——瓶颈在不在 VRAM、走 CPU 的专家
- 冷启动首 prompt 预填充:Strata 反而快约一倍(约 100 vs 45 tok/s)
RustingStrata 的定位是通用 GGUF 引擎:单一 Rust 二进制、无 Python/C++ 构建依赖,CUDA 内核首次启动编译,同一套内核跑 Vulkan(支持 AMD 与老 N 卡),支持 Qwen3/Qwen3.5/GLM-5.3-Flash/Gemma 4 等更多模型、IQ1S 到 Q80 全量化、VL 图像输入、运行时 LoRA、双卡层拆分,并提供 OpenAI/Anthropic 兼容 API 与带 MCP 的聊天页。文末附两引擎完整启动命令与 repo 链接。
「Infra」频道最新
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19
- 腾讯被曝最少买国产芯片,转用日本 neocloud 训模型 — teortaxesTex · 2026-11-19
- 开源 GLM-5.3-Flash 预填充引擎:4 张 B200 请求吞吐达 vLLM 3.2 倍 — CShorten30 · 2026-11-19