Qwen3.8 Flash Next 显存优化技巧：mmap 模式
Pyrolistical · reddit · 2026-08-30
分享在显存受限环境下运行 Qwen3.8-Flash-Next 模型的经验。默认的 load-mode auto 可能不会使用 mmap，导致 OOM。手动开启 tensor-read-lazy on 和 load-mode mmap 后，作者成功在 AMD 显卡上运行了 Q4 量化模型，并给出了具体的 llama-bench 命令与性能数据（279 t/s）。
「Infra」频道最新
- MacBook M5 Max 跑 Qwen 350K 上下文实测 — Artistic_Okra7288 · 2026-08-30
- 开发者 Azure Linux 4.0 桌面化实测:预装 PowerShell 与 Copilot — unixterminal · 2026-08-30
- 黄仁勋：先造技术再找问题，算力统一物理与生物 — r0ck3t23 · 2026-08-30
- 如何从零构建 LLM 推理引擎：拆解 5 层架构 — glenbeer · 2026-08-30
- 华勤预计 2026H2 超级节点收入破百亿，三大云厂商下巨额订单 — zephyr_z9 · 2026-08-30
- 英伟达日赚 10 亿美元，几年前的商业神话照进现实 — shauntrennery · 2026-08-30