开源 Strata:16GB 显存本地跑 125B 的 Qwen3.8-Flash-Next
evilsocket · x · 2026-10-01
evilsocket 演示用开源推理引擎 Strata 在一块 16GB NVIDIA GPU 上运行 Qwen3.8-Flash-Next(125B 参数,IQ1M 量化)。项目要点:
- 门槛:一张 12-24GB 显存的 NVIDIA 显卡 + 64GB 内存,Windows/Linux 一键安装,免费开源。
- 速度:官方称生成 60-95 token/s,快于阅读速度;RTX 5070 上以 IQ3S 量化、128K 上下文运行。
- 功能:本地提供 OpenAI/Anthropic 兼容 API,可选图像输入。GitHub 上已有约 3.9k star。
「Infra」频道最新
- 光子破内存墙：Volantis 融 8800 万美元，剑指 10T 模型万 tok/s — dunkhippo33 · 2026-10-01
- 二手 eBay 服务器 500GB 内存成 OCR 索引神器,油井档案数字化实战 — oilmutt · 2026-10-01
- AMD 6700 XT 跑 ComfyUI 报 HIPBLAS 错误,求解 ROCm 兼容方案 — God_Hand_9764 · 2026-10-01
- Google 四颗 TPU 随 Falcon 9 升空，Project Suncatcher 太空算力首测 — McDonaghMatthew · 2026-10-01
- 5400 美元 8 卡 V100 二手服务器跑 FlashAttention，27B 模型超 200 tok/s — MzCWzL · 2026-10-01
- Cloudflare 开放内部 KV 存储 Quicksilver,Workers KV Instant 读速快 100 倍 — irvinebroque · 2026-10-01