纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍
Serious_Scarcity7818 · reddit · 2026-11-08
开发者发布的 RustingStrata（纯 Rust 单二进制，无 Python）在 RTX 3060 12GB 上解码 Qwen3.6-35B-A3B（Q2KXL，11.7 GiB，部分专家溢出到 CPU）：
- 短 prompt 解码 118 tok/s，4K prompt 后 113 tok/s，约为 llama.cpp（68/66 tok/s）的 1.7 倍
- 新增 MTP 多 token 预测投机解码后最高达 160 tok/s（4K 后 152）
- 作者实测 MTP 在 llama.cpp 上反而更慢：MTP 层占 VRAM 导致更多专家被挤到 CPU，部分设置还会崩溃
- Prefill 4K 约 2200 tok/s 与 llama.cpp 持平；32K 上下文仍能跑 1800 prefill / 92 decode
- Vulkan 与 CUDA 同速，AMD 显卡可用；输出与 llama.cpp top-1 一致率 98-99%
- 提供 OpenAI 兼容 server 和聊天 UI，--gpu --mtp 1 即可运行
作者注明 160 tok/s 为贪心解码，代码/可预测文本收益更大，欢迎 AMD 用户反馈。
所属事件:纯 Rust 推理引擎老显卡跑 35B MoE 速度翻倍(2 条相关)→
「编程与Agent」频道最新
- 一张图讲清 Agent Harness:框架自管运行时转向平台托管 — adnan_hashmi · 2026-11-08
- ComfyUI 手机遥控方案开源：Tailscale 组网免云免订阅 — al-aSak · 2026-11-08
- AI Engineer Code Summit 公布议程：IBM/Databricks/OpenAI 齐上 agent 工作坊 — TejasKumar_ · 2026-11-08
- Codex 用量暴增？有人发现子代理默认被设为 Astra High — Bino5150 · 2026-11-08
- 给 Claude Code 聊天加动画表情包的 VS Code 小插件 — N9_m · 2026-11-08
- Scott Hanselman 开源 sandbox-mcp:一次性 Windows 11 沙箱测出 30 秒依赖缺失 — victor_explore · 2026-11-08