开发者探索低配硬件跑 Qwen3.8-Flash-Next 与 RLM 新思路

开发者 gnukeith 连发多帖分享在低端硬件上运行开源模型的方案：Qwen3.8-Flash-Next 理论上可 1-bit 量化运行，仅需 75GB 显存，可将 n-gram 卸载到 SSD、MTP 放 GPU 加速预测；针对极端低量化导致质量大幅下降的问题，他给出用 DeepSeek Harness 补救的办法。此外他还提出 RLM(Reading Language Model)设想，让 8B 模型通过读取 n-gram 统计表扩展知识，理论上可对标 1T 参数模型的能力。

2026-11-05 ~ 2026-11-05 · 3 条相关

• Unsloth 发布 Qwen3.8-Flash-Next 本地运行指南：1-bit 仅 75GB — gnukeith · 2026-11-05
• 低量化跑 Qwen 掉质量？gnukeith 分享 DeepSeek Harness 补救法 — gnukeith · 2026-11-05
• RLM 设想：8B 模型读 n-gram 表，理论可对标 1T 参数 — gnukeith · 2026-11-05