M3 Ultra 本地跑 Qwen3.8-Flash-Next:预填充 559 t/s,解码 31 t/s
rm-rf-rm · reddit · 2026-09-14
Reddit 用户在 Apple M3 Ultra 上用 llama.cpp(经 llama-swap)本地运行 Qwen3.8-Flash-Next 的 Q4KXL GGUF 量化版,实测数据:pp1000 预填充速度约 558.83 t/s,500 token 解码生成速度约 31.05 t/s(峰值 31.67),首次响应时间约 3.3 秒。上下文配置为 256K,采样参数 --temp 1 --top-p 0.95 --top-k 20。测试工具为 llama-benchy,为本地部署 M3 Ultra 性能提供了具体参考数据。
「Infra」频道最新
- Cloudflare 不肯做,开发者自研工具实现 Durable Objects 零停机迁出 — samgoodwin89 · 2026-10-30
- 曝一家未具名机构已建成规模化算力借贷专项载体 — matt_slotnick · 2026-10-30
- 开源模型涨价挤压推理商:5 月以来 GPU 回本吞吐要求涨 25-83% — bookwormengr · 2026-10-30
- Sam Altman 称芯片供应链“看不见的手”失灵，DRAM 是关键瓶颈 — SnoozeDoggyDog · 2026-10-30
- MoEShift 让 24GB Mac 跑 125B 模型：7.5GB 内存、10 tok/s — dave-tro · 2026-10-30
- 量子行业去年风投 49 亿美元仅营收 19 亿，四市场全景指南发布 — antavedissian · 2026-10-30