本地跑大模型怎么选:四大开源模型家族的实战选型指南
anant94 · reddit · 2026-09-13
作者针对用 Ollama/LM Studio 本地部署 AI 后「该拉哪个模型」的常见困惑,给出四大开源模型家族的选型框架:
- Llama(Meta):全能稳妥型。8B 适合 16GB 内存笔记本跑聊天/RAG,70B 是复杂推理与精细写作的甜点位,商业授权安全。
- Mistral:速度与参数效率见长,7B/12B 小参数高吞吐,适合低延迟管道与摘要。
- Qwen(阿里):多语言与数学推理被西方开发者低估,结构化 JSON 输出与函数调用表现突出,推荐 14B/32B。
- DeepSeek:编程特化,6.7B/14B 的 Coder 版常能打赢通用 13B/70B 模型。
快速决策规则:写代码选 DeepSeek/Qwen-Coder,普通聊天与 RAG 选 Llama-8B 或 Mistral-7B,多语言与严格结构化输出选 Qwen,复杂多步推理选 70B 级模型。
显存经验值(4-bit 量化):7-8B 约 5-6GB 可跑 MacBook 16GB;14-32B 约 10-20GB 适合 RTX 3090/4090;70B 约 38-42GB 需双卡或 64GB+ 统一内存 Mac。
这是系列第一篇,后续将覆盖硬件与量化基准、生产部署架构。
「Infra」频道最新
- 「Hugging Bay」上线:索引约 14.9 万公开 AI 模型,附许可证与 SHA-256 哈希 — johnseach · 2026-09-13
- 西南航空全面部署 Starlink,2026 年底将覆盖 300+ 架飞机 — XFreeze · 2026-09-13
- 观点：算力才是 AI 进步瓶颈，OpenAI 花数百万美元算力攻克千禧年大奖难题 — haider1 · 2026-09-13
- 39 美元开源 KVM JetKVM Mini 上市,可让 AI agent 突破系统层控制 — cheerfulboy · 2026-09-13
- 英伟达回应「循环融资」质疑：每投 1 美元带回 100 美元 — mgh2 · 2026-09-13
- 2B 开源模型登上小模型榜首,实测可离线跑在 iPhone 当私人助理 — SimplyAnnisa · 2026-09-13