vLLM 在 Mac 上跑 Qwen3.8-Flash FP4 本地模型,40 tok/s 供本地 agent 用

alfcnz · x · 2026-11-14

alfcnz 分享其本地 agent 方案:Claude 和 Codex 额度用尽后,改用 vLLM 在自己的 Mac 上服务 nvidia/Qwen3.8-Flash-Next-FP4-Local 模型,实测约 40 tokens/秒(截图显示首 token 0.16s、prefill 2.2s/2k tokens、generation 42.6 tok/s)。

他用这套本地智能体按需生成学习课程和个人助理,累计已服务 453.6k 生成 token、61.5M prompt token、592 次请求。展示了在消费级 Mac 上自建推理服务跑 agent 的可行性与性能数据。