开源推理引擎 Strata:12GB VRAM 跑 125B MoE 模型,可达 93 tokens/s
udmrzn · x · 2026-10-03
开源推理引擎 Strata 通过 GPU/CPU 分工 + 分层存储,让 125B 级 MoE 模型(如 Qwen3.8-Flash-Next)在 RTX 5070 12GB 这类消费级 GPU 上本地运行。
核心机制:
- 不把整个模型读入 VRAM:GPU 放 Attention、Router、KV Cache 和高频 Expert,其余 Expert 留在 RAM 由 CPU 计算,SSD 放大容量 Lookup Table 按需读取
- Expert 缓存按使用情况自适应,12–16GB VRAM 即可处理超大 MoE 模型
- 利用 MTP 层做投机解码,官方称比常规生成快约 1.6–1.8 倍
性能(RTX 5070 12GB + Ryzen 5 7600 + 64GB RAM,短对话):Q20 约 93 tokens/s,IQ2XS 约 79,128K 上下文下也保持 46–74 tokens/s。推荐 12GB+ VRAM、64GB RAM、NVMe SSD,模型文件需 70–120GB 存储空间。
所属事件:开源推理引擎 Strata:游戏 PC 本地跑 1250 亿参数大模型(7 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19