单卡跑百GB MoE：RustingStrata 用 CPU 卸载专家层，双卡提速 4 倍
Serious_Scarcity7818 · reddit · 2026-11-06
RustingStrata 是一个用 Rust 写的推理引擎，让大 Qwen MoE 模型在单张消费级 GPU 加系统内存上运行——放不进显存的专家层交给 CPU 计算。本次更新要点：
- 正确性验证：新增与 llama-perplexity 兼容的 perplexity 命令，可输出 llama.cpp 的 logits 文件做 KL 散度对比。Qwen3-4B 上 strata 与 llama.cpp CUDA 的平均 KLD 仅 0.0024、top token 一致率 97.9%，甚至比 llama.cpp 自己的 CPU 版（0.0062）更接近 CUDA 基准。
- 多卡支持：--device 0,1 按空闲显存比例切分层，支持混合显卡与混合后端（CUDA+Vulkan）。2× RTX 3090 跑 98GB 的 Qwen3.8-Flash-Next：decode 70 tok/s（单卡仅 18–34），4K prefill 1465 tok/s。作者也诚实说明：模型能塞进更快单卡时切分反而慢，且 AMD 卡在轮空时会降频，锁高频后从 44 提升到 57 tok/s。
- 开箱即用：strata serve 自带浏览器聊天页，支持流式、代码块、思考模式、从 HF 直接下载 GGUF 并热切换模型，Windows 双击即用。
- Claude Code 支持：实现 Anthropic Messages API，设 ANTHROPICBASEURL 即可接入；缓存 agent 压缩后的会话状态，把每次压缩请求的重算从 5.4s 降到 1.0s。
- 其他：为 Qwen3.8-Flash-Next 加稀疏注意力（QSA），RTX 3060 12GB 上 128K 上下文仍有 18.4 tok/s；修复 AMD 冷启动挂起；支持更多 Unsloth 量化格式。
所属事件:纯 Rust 推理引擎 RustingStrata 让小显存跑 Qwen 大模型(3 条相关)→
「编程与Agent」频道最新
- Perplexity Computer 用 Deep Research 做 6 分钟 GTA 引擎 RAGE 解说 — jeffgrimes9 · 2026-11-06
- Agent 开发者吐槽：模型自称要干几小时,实际 10 分钟搞定 — jacalulu · 2026-11-06
- Alchemy 下周发布：Rivet 与 Effect Cluster 可作为可替换部署层 — samgoodwin89 · 2026-11-06
- Grok Build v1.0.75 发布:多智能体工作流可靠性与性能大幅升级 — elonmusk · 2026-11-06
- Gauge CLI 开源：85% 编码会话由 Agent 发起，卖软件门槛变了 — ycombinator · 2026-11-06
- 为 Agent 而生的游戏引擎 kaigen3d:C 语言打造、无内置编辑器 — gdechichi · 2026-11-06