功率受限 5090 配 96GB 内存:Qwen3.8-Flash 本地跑出 200 tok/s
z0_o6 · reddit · 2026-10-02
Reddit 用户分享实测:在一块功率受限的 RTX 5090 加 96GB DDR5-6400 内存上,用 Strata(llama.cpp 系工具)运行 IQ3S 量化的 Qwen3.8-Flash-Next,128k 上下文(8-bit KV cache)下解码速度达到 150-200 tok/s,预填充 5-6k tok/s。说明即使显存受限、靠部分 offload 到内存,本地也能跑长上下文大模型且速度可用。
所属事件:Strata 引擎让消费级 PC 本地跑超大模型(3 条相关)→
「Infra」频道最新
- 投资人感叹:市场对不确定性的厌恶盖过了英伟达财报赚钱能力 — MartinGTobias · 2026-11-19
- SGLang 宣布为新模型 DaisyRose-27B 提供 Day-0 支持 — ying11231 · 2026-11-19
- Linux LTS 补丁洪峰将至:单日 3318 个补丁,「人类根本审不完」 — pkqzy888 · 2026-11-19
- DaisyRose-27B 背后:自建沙箱服务降本 80%,百万次运行成功率 99.95% — BanghuaZ · 2026-11-19
- 腾讯 220B Hy4-flash 量化版压到 49GB,64GB 显存即可跑 — gladkos · 2026-11-19
- 开源 GPU 资源管理器 Berth:多 GPU 调度、引擎停驻与显存防抢占 — Distinct-Pie2389 · 2026-11-19