Strata 引擎让消费级 PC 本地跑超大模型

开源推理引擎 Strata(GitHub 7.2k star)引发社区实测热潮:有用户在功率受限的 RTX 5090 加 96GB DDR5-6400 内存上以 IQ3S 量化运行 Qwen3.8-Flash,达到约 200 token/s;另有用户用 64GB 内存加 16GB 显存运行总参数 180B 的 Qwen3.8-Flash-Next,实测 40-50 token/s;还有演示显示仅需 12GB 显存即可运行 128B 模型,速度达 96 token/s,让家用游戏 PC 也能跑通常需要服务器的大模型。

2026-10-02 ~ 2026-10-03 · 3 条相关

事件全程(共 4 集)→