Strata 开源推理引擎:老旧 DDR3 电脑跑 1250 亿参数模型达 70tps
udmrzn · x · 2026-10-03
开源项目 Strata(GitHub 5.7k star)主打在消费级硬件上运行 Qwen3.8-Flash-Next(1250 亿参数)大模型,支持 Windows/Linux 一键安装。
要点:
- 硬件门槛低:一台便宜的 DDR3 老机器配 64-128GB 内存,再接一块 8GB+ 显存的 GPU 即可,官方推荐 12GB+ 的 N/A 卡
- 实测速度 70tps+,CPU 核心/线程越多越快,靠大内存放权重、GPU 分担计算
- 本地提供 OpenAI/Anthropic 兼容 API,支持 128K 上下文、图像输入,可对接编码 agent,数据不出本机
所属事件:开源推理引擎 Strata:游戏 PC 本地跑 1250 亿参数大模型(7 条相关)→
「Infra」频道最新
- tinygrad 推出 768GB 显存 tinybox:4 张翻新 MI300X 售价 8.9 万美元 — viksit · 2026-11-19
- 纯 Rust 推理引擎 RustingStrata 实测:3060 上跑 Qwen MoE 略胜原版 Strata — Serious_Scarcity7818 · 2026-11-19
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19