64GB 内存+16G 显存跑 180B Qwen3.8-Flash-Next,Strata 实测 40-50 t/s
danamir_ · reddit · 2026-10-03
作者分享了用 Strata 在家用电脑上本地运行 Qwen3.8-Flash-Next 的实测:该模型总参数 180B(激活约 125B 中 6B 激活,另有 51B n-gram embedding 与 4B MTP),在 Windows 10、64GB 内存、5070Ti 16GB 显存的机器上以 IQ3XXS 量化跑出约 40-50 t/s,最大支持 256K 上下文。
要点:
- Strata 的优势在于其他本地部署方案不具备的显存卸载机制,还能在两次提示会话之间自动加载/卸载模型(加载约 2 分钟),方便穿插跑 ComfyUI 做图像处理。
- 搭配 mmproj 可获得视觉能力,当图像助手用 32-64K 上下文就够。
- 也给了 llama.cpp --cpu-moe 直跑的备选,但性能约减半。
所属事件:Strata 引擎让消费级 PC 本地跑超大模型(3 条相关)→
「Infra」频道最新
- AMD Loom 实测:Qwen3.5-4B 在 Radeon 890M 上 prefill 提速 2.6 倍 — jfowers_amd · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS Lambda 终于支持 GPU:托管实例可跑模型推理与媒体处理 — DavidWells · 2026-11-19
- 曝黄仁勋人为制造显卡稀缺抬价获利,库存积压仍维持高价 — GaryMarcus · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- 爆料:中国秘密研发百万卡级无HBM训练集群,国产芯片架构存疑 — teortaxesTex · 2026-11-19