Strata 仓库详情:消费者硬件跑 125B 模型,支持 OpenAI/Anthropic 本地 API
alex_verem · x · 2026-10-02
这是 Strata 项目的 GitHub 仓库链接帖。Strata 可在消费级硬件上运行 1250 亿参数的 Qwen3.8-Flash-Next,支持 Windows/Linux 一键安装,本地提供 OpenAI/Anthropic 兼容 API,可选图像输入。当前 5.7k stars,README 展示了 RTX 5070 上 IQ3S 量化、128K 上下文的一次性生成示例。与上一条推文为同一事件。
所属事件:开源引擎 Strata 让游戏 PC 本地跑 125B 大模型(7 条相关)→
「Infra」频道最新
- 仅 10% 人口重度用 AI 就可能压垮推理基础设施，HBM 正疯狂短缺 — XFreeze · 2026-10-03
- 网友炮轰某「Neocloud」：几个月前还在套壳 RunPod，凭何比肩 AWS — knowrohit07 · 2026-10-03
- 分析师看多 AAOI：800G 与 1.6T 爬坡，3.2T 尚未成主流 — BenBajarin · 2026-10-03
- 半年前被Google拒之门外的千元周末跑分消费，如今畅通无阻 — vivekhaldar · 2026-10-03
- AMD 官方晒账:MI355X 软件调优叠加 vLLM 升级,吐 token 成本直降 31% — ryanshrout · 2026-10-03
- 4 卡 GPU 服务器拓扑实战：一个 Gen5 Switch 就够，别多花冤枉钱 — knowrohit07 · 2026-10-03