Qwen3.8-Flash-Next Mac 端极致优化:线性稀疏注意力+SSD 流式
memeka · reddit · 2026-08-30
开发者在 M1 Max 64GB 上实现了对 Qwen3.8-Flash-Next 的极致优化,支持张量、Engrams 和 MTP 的 SSD 流式加载。核心技术点包括:
- 自定义 Q4 量化:混合拼接多个 Unsloth 和 AtomicChat 量化张量,平衡性能与比特率。
- Metal 稀疏注意力:自研机制将复杂度从二次方降至近似线性。
- 动态 MTP:在上下文增大导致 MTP 收益为负时自动关闭。
- KV Cache 抉择:开启 MTP 会占用更多 RAM,导致 Prefill 速度从 180 tps 降至 170 tps,但 Decode 提升 70% 至 22 btps。
作者特别致谢 Claude,称其提供了大量 Token 辅助开发。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects,月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版,主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention:同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理,TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16