零月租跑70B大模型：双卡3090本地部署Qwen 2.5全教程
thisdudelikesAI · x · 2026-08-08
作者分享了如何零月租在本地运行 70B 参数大模型（Qwen 2.5 72B）的完整 5 步指南，彻底告别 API 费用、速率限制和隐私担忧。
核心硬件与成本
- 推荐配置：双 RTX 3090/4090（48GB VRAM）、单 24GB 显卡+64GB 内存，或 64GB+ 统一内存的 M 系列Mac。
- 二手双 3090 主机约 1400-1800 美元，对比每月 200-500 美元的 GPT-4 API 费用，不到半年即可回本。
部署步骤
- 安装 Ollama：它负责运行时、量化与 GPU 卸载，无需手动配置底层参数。
- 拉取模型：使用 ollama pull qwen2.5:72b，推荐默认的 Q4KM 量化版（约 43GB），兼顾质量与体积。
- 加载运行：双卡预计 15-20 tokens/s，单卡+CPU 卸载约 5-10 tokens/s，Mac 统一内存约 8-12 tokens/s。
- 添加 UI：通过 Docker 部署 Open WebUI，获得类 ChatGPT 的本地界面。
部署后可享受 128K 上下文、完整工具调用且数据完全离线自控。
「编程与Agent」频道最新
- 用 ChatGPT 会话经 Desktop Commander MCP 启动 Claude Code CLI — MidahBootyQuay · 2026-10-16
- 单操作员指挥多智能体能做的事已超乎想象 — natesiggard · 2026-10-16
- Claude Code 会话该跑多久？3 小时后上下文成灾的真实教训 — Additional-Buy-2562 · 2026-10-16
- Claude Code 隐藏行为：团队成员 agent 的回复不会送达 lead — Sauers_ · 2026-10-16
- Agent 写完完整回答却被 harness 丢弃：工具调用文本被当进度注释 — Stunning-Sherbet1853 · 2026-10-16
- Vibe coding 背锅太多：工程师厘清它与真实软件工程的边界 — bendee983 · 2026-10-16