开源 Strata 引擎:12G 显存本地跑 128B 模型,速度达 96 token/s
daluoseo · x · 2026-10-03
博主推荐开源项目 Strata(GitHub 7.2k star),可在普通游戏 PC 上运行 Qwen3.8-Flash-Next 这类通常需要服务器的大型模型:12GB 显存的 NVIDIA/AMD 显卡即可跑 125B 参数版本,实测速度可达 96 token/s。
项目特性:
- 支持 Windows/Linux 一键安装,Docker 部署可选
- 本地提供 OpenAI/Anthropic 兼容 API
- 支持图像输入、代码生成,128K 上下文(IQ3S 量化,RTX 5070 实测)
- 免费开源,基于 ggml
注意:「Qwen3.8-Flash-Next」这一模型名称未见于官方渠道,项目真实性有待验证。
所属事件:Strata 引擎让消费级 PC 本地跑超大模型(3 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19