Strata 推理引擎：16GB 显存本地跑 125B 量化模型

安全研究者 evilsocket 演示用开源推理引擎 Strata，在一张 16GB 显存的 NVIDIA GPU 上运行 IQ1M 极致量化版的 Qwen3.8-Flash-Next（125B 参数） coder 模型。这一演示展示了极致量化加开源推理引擎的潜力，让消费级显卡也能在本地运行超大规模模型，项目已开源。

2026-10-01 ~ 2026-10-01 · 2 条相关

• 16GB 老显卡跑 Qwen3.8 Coder，Strata 极致量化显神通 — evilsocket · 2026-10-01
• 开源 Strata:16GB 显存本地跑 125B 的 Qwen3.8-Flash-Next — evilsocket · 2026-10-01