开源 Strata:16GB 显存本地跑 125B 的 Qwen3.8-Flash-Next
evilsocket · x · 2026-10-01
evilsocket 演示用开源推理引擎 Strata 在一块 16GB NVIDIA GPU 上运行 Qwen3.8-Flash-Next(125B 参数,IQ1M 量化)。项目要点:
- 门槛:一张 12-24GB 显存的 NVIDIA 显卡 + 64GB 内存,Windows/Linux 一键安装,免费开源。
- 速度:官方称生成 60-95 token/s,快于阅读速度;RTX 5070 上以 IQ3S 量化、128K 上下文运行。
- 功能:本地提供 OpenAI/Anthropic 兼容 API,可选图像输入。GitHub 上已有约 3.9k star。
所属事件:开源推理引擎 Strata:游戏 PC 本地跑 1250 亿参数大模型(7 条相关)→
「Infra」频道最新
- Gridline 发布:微调、蒸馏、批量推理一站搞定,兼容 OpenAI 客户端 — Scobleizer · 2026-11-19
- 昇腾产能测算:明年或产 1920-2160 万颗,瓶颈在存储与封装 — teortaxesTex · 2026-11-19
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19