Strata 开源推理引擎:老旧 DDR3 电脑跑 1250 亿参数模型达 70tps
udmrzn · x · 2026-10-03
开源项目 Strata(GitHub 5.7k star)主打在消费级硬件上运行 Qwen3.8-Flash-Next(1250 亿参数)大模型,支持 Windows/Linux 一键安装。
要点:
- 硬件门槛低:一台便宜的 DDR3 老机器配 64-128GB 内存,再接一块 8GB+ 显存的 GPU 即可,官方推荐 12GB+ 的 N/A 卡
- 实测速度 70tps+,CPU 核心/线程越多越快,靠大内存放权重、GPU 分担计算
- 本地提供 OpenAI/Anthropic 兼容 API,支持 128K 上下文、图像输入,可对接编码 agent,数据不出本机
所属事件:开源引擎 Strata 让游戏 PC 本地跑 125B 大模型(7 条相关)→
「Infra」频道最新
- 仅 10% 人口重度用 AI 就可能压垮推理基础设施，HBM 正疯狂短缺 — XFreeze · 2026-10-03
- 网友炮轰某「Neocloud」：几个月前还在套壳 RunPod，凭何比肩 AWS — knowrohit07 · 2026-10-03
- 分析师看多 AAOI：800G 与 1.6T 爬坡，3.2T 尚未成主流 — BenBajarin · 2026-10-03
- 半年前被Google拒之门外的千元周末跑分消费，如今畅通无阻 — vivekhaldar · 2026-10-03
- AMD 官方晒账:MI355X 软件调优叠加 vLLM 升级,吐 token 成本直降 31% — ryanshrout · 2026-10-03
- 4 卡 GPU 服务器拓扑实战：一个 Gen5 Switch 就够，别多花冤枉钱 — knowrohit07 · 2026-10-03