Mac Mini M5 64GB 跑 Qwen Flash Next,玩家自优化解码达 17.5 tks
turtleninja99 · reddit · 2026-10-05
一位 Reddit 用户分享了在 Mac Mini M5(64GB)上本地运行 Qwen Flash Next Q4 的实测成果:解码约 17.5 tks,提示词处理约 360 tks。他做了几项此前未见过的优化:
- carousel 专家流式缓冲:为提示词处理设置专家流式载入缓冲区,pp 提速约 +30%
- 双外置 SSD 并行读取:对 pp 和解码各带来约 +15% 提升
- 任务调度机制:让聊天应用调用服务端时可以把长编码任务"踢出"后台挂起,聊完再恢复,适合长时间编码任务且能节省本地缓存内存
作者指出解码期间 GPU 仍在等专家流式载入,存在大量"免费时间",Metal 上还有优化 kernel 空间;并认为 Qwen Flash Next(作为 Qwen 4 前身)的 ngram table 和廉价混合注意力缓存会带来更多可利用的效率空间。他评价 Flash Next 编码质量出乎意料地好,日常已开着跑大任务,但思考时间过长拖累了实际解码体验。项目细节开源在 GitHub(skeggsguy/Flash-next-ssd)。
「编程与Agent」频道最新
- 人机协作刷新 11 方块装箱下界至 3.875,逼近 23 年未解难题 — ctjlewis · 2026-10-05
- 引用转发的同人讨论,与上一条为同一事件,保留但以原帖为准 — ctjlewis · 2026-10-05
- Mobilerun AndroidWorld满分116/116，超谷歌Artemis — SimplyAnnisa · 2026-10-05
- Gemini Robotics-ER 2 写任务计划：双臂 FR3 协作搬运实测 — Stefania_druga · 2026-10-05
- 模型越聪明流程越多余？Dimillian 反思该回到单线程提示框了 — Dimillian · 2026-10-05
- 3D打印+ESP32+Astra，网友给孩子做了一台AI答录机 — Stefania_druga · 2026-10-05