开源引擎 Strata 本地跑 125B 模型,RTX 5070 上实测 53 tok/s
petrusenko_max · x · 2026-10-05
Strata 是一个 MIT 许可的推理引擎,宣称可一键在 Windows/Linux 本地运行 Qwen3.8-Flash-Next(125B),并在 localhost 提供 OpenAI/Anthropic 兼容 API。README 给出实测数据:RTX 5070 12GB 上 IQ3S 量化达 53 tok/s,Q20 量化达 94 tok/s,并附带 128K 上下文演示。
所属事件:开源 Strata:12GB 显存家用机跑 1250 亿参数模型(2 条相关)→
「Infra」频道最新
- Anthropic 算力支出年增 4 倍超 OpenAI,Q3 单季烧 100 亿美元 — scaling01 · 2026-11-19
- 东南亚银行停贷,泰国数据中心协会称 12 个月内 GPU 订单取消额达 180 亿美元 — SumitGup · 2026-11-19
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19