10 个 GitHub 开源仓库让你在笔记本上跑本地 AI 模型
victor_explore · x · 2026-11-09
作者整理了一份 GitHub 本地 AI 工具清单，覆盖从跑模型、提供 API 到组集群的完整链路：
- Ollama（183k stars）：最简单的本地跑模型方式，支持 Kimi、GLM、DeepSeek、Qwen 等模型
- llama.cpp（131k stars）：大多数本地 AI 应用背后的 C/C++ 推理引擎
- LocalAI（69k stars）：自托管的 OpenAI API 替代品
- exo（48k stars）：把多台设备组成一个集群来跑大模型
- Jan（45k stars）：离线运行的桌面 ChatGPT 替代品
- llmfit：判断哪个模型能装进你的内存
- llamafile（26k stars）：把模型和运行时打包成单个文件
- 另有 MLX LM（Mac 上跑模型）、llama-swap（单端点按需切换模型）、Lemonade（Windows/Linux 本地 AI 服务器）
「编程与Agent」频道最新
- 27 粉一人网站单日入账 4800 美元,用 Claude Code 挖出的真实小生意 — FinanceYF5 · 2026-11-09
- 「churn 时代」:不爽就自己用 Claude 造替代品 — joshgonsalves_ · 2026-11-09
- 折腾两周后跑通 AI 生成地图立交管线，错误标记自动浮出 — tomjohndesign · 2026-11-09
- 设计师用 AI 实现狂想，但底层功底反而更重要了 — nptacek · 2026-11-09
- Gemini CLI 修复无头模式中断缺陷:子进程残留与错误退出码 — duvanka-prasad · 2026-11-09
- 博主实测 T3 Code:一个界面统一调度 Claude Code 与 Codex — vista8 · 2026-11-09