开源 Strata:12GB 显存家用机跑通 1250 亿参数 Qwen 模型
lxfater · x · 2026-10-03
开源项目 Strata(GitHub 近 8k star)让普通游戏 PC 也能跑 Qwen3.8-Flash-Next 这个 1250 亿参数模型,要求仅 12GB 以上显存的 NVIDIA/AMD 显卡,支持 Windows/Linux 一键安装,提供本地 OpenAI/Anthropic 兼容 API,还支持图片输入。
原理是利用 MoE 模型每次只激活部分专家的特点:常用权重放显存,其余由内存和 CPU 配合处理,SSD 上还有一张查询表负责调度。
实测数据:作者用 RTX 5070(12GB)+ Ryzen 5 7600 + 64GB 内存,短对话生成速度 Q20 版约 94 token/s、IQ3S 版约 53 token/s;另有用户 @ivanalogcom 加上自己的代码优化,在单张 5070 Ti 上跑到约 2200 token/s 输入处理、67 token/s 生成。注意量化版本和上下文长度都会显著影响实际速度与效果,需按自己任务实测。
所属事件:开源 Strata:12GB 显存家用机跑 1250 亿参数模型(2 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19