开源 Strata：12GB 显存家用机跑通 1250 亿参数 Qwen 模型
lxfater · x · 2026-10-03
开源项目 Strata（GitHub 近 8k star）让普通游戏 PC 也能跑 Qwen3.8-Flash-Next 这个 1250 亿参数模型，要求仅 12GB 以上显存的 NVIDIA/AMD 显卡，支持 Windows/Linux 一键安装，提供本地 OpenAI/Anthropic 兼容 API，还支持图片输入。
原理是利用 MoE 模型每次只激活部分专家的特点：常用权重放显存，其余由内存和 CPU 配合处理，SSD 上还有一张查询表负责调度。
实测数据：作者用 RTX 5070（12GB）+ Ryzen 5 7600 + 64GB 内存，短对话生成速度 Q20 版约 94 token/s、IQ3S 版约 53 token/s；另有用户 @ivanalogcom 加上自己的代码优化，在单张 5070 Ti 上跑到约 2200 token/s 输入处理、67 token/s 生成。注意量化版本和上下文长度都会显著影响实际速度与效果，需按自己任务实测。
「Infra」频道最新
- 博通拟向 Anthropic 提供最高 420 亿美元贷款供其购买算力 — VraserX · 2026-10-04
- Workato 的 AI 账单暴涨七倍：按席位授权变成按量计费 — YvesMulkers · 2026-10-04
- 开发者实测 Cloudflare D1:3% 读请求耗时 3-10 秒 — TejasKumar_ · 2026-10-04
- 谷歌首座轨道数据中心已入轨:冰箱大小、1 千瓦太阳能 — lemire · 2026-10-03
- 日本算力热催生奇葩牛股：自动售货机厂商股价年涨超 500% — PAstynome · 2026-10-03
- 芯片设计组合空间达 10^260 万，AI 与 agents 把硬件变成搜索问题 — ai · 2026-10-03