HamsterResearch 推出动态量化：M4 Max 内存仅 37GB 跑满 Qwen
EyalToledano · x · 2026-08-30
HamsterResearch 团队基于 pMLX 实现了动态量化与专家流式加载技术，用户只需下载一次全精度模型，引擎即可根据任务需求（上下文长度、最低速度）自动适配最佳量化方案和专家调度。
实测显示，在 M4 Max 上运行 Qwen3.8-Flash-Next，通过将 60% 专家留在磁盘按需流式加载，仅用 37GB 内存即可运行完整（未剪枝）模型，解码速度达 40 tok/s。这解决了用户选择量化版本的麻烦，并实现了在有限硬件上运行大模型的突破。
所属事件:Qwen3.8-Flash-Next 低显存推理优化方案引热议(4 条相关)→
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15