antirez:DwarfStar 本地跑通 Qwen3.8 Flash Next,64GB Mac 达 50~70 t/s
antirez · x · 2026-09-14
antirez 宣布 DwarfStar 已支持 Qwen3.8 Flash Next，主要由 @ivanfioravanti 通过 PR 完成。
- 性能：在 64GB Mac 上可完整运行，推理速度 5070 tokens/s，prefill 超过 1400 tokens/s，当前仅支持 Metal 后端。
- 技术细节：采用与 DS4.1F 相同的 SSD n-grams 方案，把 n-gram 缓存放到 SSD 上以节省内存。
作者在后续推文中补充：这套方案在 128GB 的 DGX Spark 上是否值得尚不确定（额外速度有吸引力，还能腾出大量内存），但对 ROCm/AMD 平台（如 64GB Framework Desktop 用户）明显有意义。
所属事件:antirez 的 DwarfStar 本地跑通 Qwen3.8 Flash Next，64GB Mac 达 50~70 t/s(2 条相关)→
「Infra」频道最新
- 8GB 显卡本地跑 Flux+Wan 2.2：三个设置错误拖慢了所有渲染 — roro9- · 2026-10-30
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30