Qwen3.8-Next 跑上 M5 Air：3bit 量化达 150tps 预填充
maddie-lovelace · reddit · 2026-08-29
作者将几周前为 DeepSeek v4 开发的 MoE 流式推理栈适配到 Qwen3.8-Next，效果超出预期：在 M5 Air 低功耗模式下，使用 3bit 量化版本（Qwen3.8-Flash-Next-MLX-oQ3-MTP），2k token 提示词可达 150 tps 预填充、3.6 tps 解码。
作为对比，同机运行的 dense 27b 4bit 版本只有 70 tps 预填充、3 tps 解码——MoE 架构在端侧的吞吐优势明显（不过两者量化位数不同，并非严格对比）。
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15