64GB 内存之痛:Strata 让本地跑 Qwen3.8-Flash-Next 提速到 60 t/s
Cautious_Chicken_604 · reddit · 2026-10-04
一位本地 LLM 玩家分享了双卡+64GB 内存的取舍困境:R9700 跑日常模型 Qwen3.8-27B Q6(约 35 t/s),RTX 5060 Ti 用 ComfyUI 跑图像/视频推理。
- 此前在 Vulkan 下用双卡跑 Qwen3.8-Flash-Next 的 93GB IQ4XS 量化只有 15 t/s,无法日用。
- 换用 Strata 跑 70 多 GB 的 IQ3XXS 量化,先在 llama.cpp 用系统内存+R9700 跑出 21 t/s;改用 Strata 后达到约 60 t/s,终于达到日用标准。
- 代价是 QFN 加载后系统内存占用 96%,ComfyUI 里的 Minimax H3 等吃内存的推理任务无法同时进行。
作者表示「能跑上这个模型是福气,但要二选一是诅咒」,升级 128GB 内存又因预算有限暂不考虑。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20