一人搞定 Qwen 3.8 Mac 全栈优化：高上下文解码提速 54%
julianharris · x · 2026-08-29
独立研究者 Youssof 发布 MTPLX V2.10，对 Qwen 3.8 在 Mac 上做了一整套全栈性能优化，被 Julian Harris 称为「一人的本地 AI 研究 powerhouse」——不是零碎调参，而是从模型底层 kernel 优化到自研推理 serving 的系统性工程。亮点：
- 新增 Qwen 3.8 Next 支持：4 bit/8 bit 优化版模型在高上下文下持续跑出 50–80 TPS
- mmap 流式加载：32 GB n-gram 表从 SSD 经 mmap 流式读取而非占内存，两个模型可同时塞进 96 GB Mac 且零速度损失
- 27B 版解码全面提速：3k 上下文 +15% TPS，88k +29%，147k +54%，prefill +41%
- 48 GB Mac 逆袭：30k 上下文下从 swap 里的 3–4 TPS 提升到 33 TPS
- KV Cache 问题解决：8 bit 和 4 bit 缓存几乎不再拖慢速度（此前会下降 50%）
Julian Harris 建议 Jeremy Howard 的 Answer.ai 赶在他被大厂收编之前把人挖走。
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15