Qwen3.8-Flash 支持本地运行，125B 模型仅用 75GB 内存
danielhanchen · x · 2026-08-26
Unsloth 宣布 Qwen3.8-Flash 现已支持本地运行。这是一个 125B 参数的多模态 MoE 模型，基于 Qwen4 架构预览，性能超越 Claude-4.6-Opus (Max)。
核心亮点：
- 低门槛运行：仅需 75GB RAM 或统一内存即可运行（无需显存），1-bit 量化版本体积较 BF16 缩小 79%。
- 架构升级：引入 GDN + QSA 混合注意力、N-gram Embedding 等，推理成本显著降低。
- 工具支持：通过 Unsloth GGUFs 和专用 llama.cpp PR 提供支持，Mac 和大内存设备尤为适用。
所属事件:Qwen3.8-Flash发布并支持本地部署，SWE-bench Pro反超Claude(5 条相关)→
「Infra」频道最新
- MiniCPM-V 4.7 上了手机:35B MoE 在 iPhone 上 3GB 内存跑出 13+ tokens/s — heyshrutimishra · 2026-10-16
- 个人 C++/Vulkan 推理引擎 LaForge 调优后 SD1.5 出图快 30-46 倍 — Ichidan256 · 2026-10-16
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16