Claude/Codex 额度用光后,他自建 vLLM 本地跑 Qwen 模型供 Agent 使用

alfcnz · x · 2026-11-09

开发者 alfcnz 表示 Claude 和 Codex 的订阅 token 都用超了,于是转向本地部署:用 vLLM 在本地 GPU(截图显示为 RTX 5080 级显卡)上跑 nvidia/Qwen3.8-Flash-Next-FP4-Local 模型,按需自供「智能」。截图展示完整栈:btop/virt-monitor 监控功耗与显存、Tailscale 内网穿透、自写 spark 脚本一键启停服务并开 API 隧道,当前在用它生成学习课程和搭建一个真正能干活个人助理。这是一个「订阅额度不够就自建本地推理」的典型案例。