Strata 引擎让消费级 PC 本地跑超大模型
开源推理引擎 Strata(GitHub 7.2k star)引发社区实测热潮:有用户在功率受限的 RTX 5090 加 96GB DDR5-6400 内存上以 IQ3S 量化运行 Qwen3.8-Flash,达到约 200 token/s;另有用户用 64GB 内存加 16GB 显存运行总参数 180B 的 Qwen3.8-Flash-Next,实测 40-50 token/s;还有演示显示仅需 12GB 显存即可运行 128B 模型,速度达 96 token/s,让家用游戏 PC 也能跑通常需要服务器的大模型。
2026-10-02 ~ 2026-10-03 · 3 条相关
- 第 1 集:开源推理引擎 Strata:游戏 PC 本地跑 1250 亿参数大模型(2026-10-01,7 条)
- 第 2 集:Strata 引擎让消费级 PC 本地跑超大模型(2026-10-02,3 条)
- 第 3 集:RTX 5070 12GB单卡跑177B模型实测11-15 tok/s(2026-10-03,2 条)
- 第 4 集:开源 Strata:12GB 显存家用机跑 1250 亿参数模型(2026-10-03,2 条)
- 功率受限 5090 配 96GB 内存:Qwen3.8-Flash 本地跑出 200 tok/s — z0_o6 · 2026-10-02
- 64GB 内存+16G 显存跑 180B Qwen3.8-Flash-Next,Strata 实测 40-50 t/s — danamir_ · 2026-10-03
- 开源 Strata 引擎:12G 显存本地跑 128B 模型,速度达 96 token/s — daluoseo · 2026-10-03