纯 Rust 推理引擎 RTX 3060 跑 35B MoE 达 160 tok/s，比 llama.cpp 快 2 倍
Serious_Scarcity7818 · reddit · 2026-11-08
与前条同事件的重复帖：RustingStrata（纯 Rust 单二进制）在 RTX 3060 12GB 上解码 Qwen3.6-35B-A3B（Q2KXL，部分专家在 CPU）达 118 tok/s，启用 MTP 投机解码后最高 160 tok/s，约为 llama.cpp（68 tok/s）的 2 倍。MTP 在 llama.cpp 上反而更慢且会崩溃。Prefill 约 2200 tok/s 与 llama.cpp 持平，32K 上下文 1800 prefill / 92 decode，Vulkan 与 CUDA 同速，AMD 可用，输出 top-1 一致率 98-99%。
所属事件:纯 Rust 推理引擎老显卡跑 35B MoE 速度翻倍(2 条相关)→
「编程与Agent」频道最新
- 开发者用 Claude Code 做出 3D 灭火飞机浏览器游戏 Cinderscoop — vinishkapoor · 2026-11-09
- 开发者实测：本地 LLM 并发多请求可提速 2-3 倍 — draginol · 2026-11-09
- NoMac：MCP 服务器给 Agent 一台云端 Mac 和 iOS 模拟器 — Stunning-Farmer185 · 2026-11-09
- 开发者观察：新一代 LLM 让人从过度约束转向留白让模型发挥 — jongranskog · 2026-11-09
- Proof of Agent 用 AI 互相评分,重复回复的机器人被降权零收益 — adamamcbride · 2026-11-09
- AI 辅助编程没有消灭工程，只是把工程上移一层 — Responsible-Beat2137 · 2026-11-09