实测 M1 Pro 跑 Qwen 3.8：256k 上下文仍可达 45 tok/s
EyalToledano · x · 2026-09-02
Eyal Toledano 分享了在 M1 Pro (64GB RAM) 上运行 Qwen 3.8-Flash-Next 的实测数据。在 0.75x RAM 限制下，Q4 量化、32k 上下文时可达 38 tok/s 爆发速度，4 个 Agent 聚合吞吐量为 51 tok/s。即使在 256k 长上下文下，通过调整参数（Q3 量化），仍能维持 18 tok/s 的持续速度和 57 tok/s 的聚合吞吐量。
所属事件:Qwen3.8-Flash-Next 搭载 pMLX 引擎：小显存跑大模型(3 条相关)→
「Infra」频道最新
- 论文：LLM 竞价采购平台可省 10%-71% 推理成本 — _onionesque · 2026-10-18
- 560B MoE 塞进 4 台 DGX Spark:Ling 3.1 Flash 用 llama.cpp RPC 跑通 — BerryBlush_Rogers691 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家涨到 36 家 — ying11231 · 2026-10-18
- Oracle CDS 飙至 300bps 创纪录，被称 AI 交易倒下的第一块多米诺 — arthurcolle · 2026-10-18
- MIT 团队实测:agent 编码用量若按 API 计费每月高达 4 万美元 — ChrisRackauckas · 2026-10-18
- 越狱 PS5 跑 llama.cpp:开源 PS5LM 让主机变身家庭本地 LLM 服务器 — wateriscoding · 2026-10-18