纯 Rust 推理引擎老显卡跑 35B MoE 速度翻倍

开发者发布名为 RustingStrata 的纯 Rust 推理引擎，采用单二进制设计、不依赖 Python，在 RTX 3060 12GB 显卡上运行 Qwen3.6-35B-A3B（Q2KXL 量化，部分专家放置于 CPU）时解码速度达 160 tok/s，约为 llama.cpp 的两倍。该项目展示了 MoE 模型在消费级老显卡上的高效推理潜力，相关帖子在社区引发关注。

2026-11-08 ~ 2026-11-08 · 2 条相关

• 纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍 — Serious_Scarcity7818 · 2026-11-08

另有 1 条近重复转述:Serious_Scarcity7818