开源引擎 Strata 本地跑 125B 模型,RTX 5070 上实测 53 tok/s

petrusenko_max · x · 2026-10-05

Strata 是一个 MIT 许可的推理引擎,宣称可一键在 Windows/Linux 本地运行 Qwen3.8-Flash-Next(125B),并在 localhost 提供 OpenAI/Anthropic 兼容 API。README 给出实测数据:RTX 5070 12GB 上 IQ3S 量化达 53 tok/s,Q20 量化达 94 tok/s,并附带 128K 上下文演示。

所属事件:开源 Strata:12GB 显存家用机跑 1250 亿参数模型(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →