本地跑大模型工具盘点：vLLM、Unsloth 等推理与训练利器
thisdudelikesAI · x · 2026-09-16
一份面向本地部署的 LLM 工具清单（第 9、10 项）:
- vLLM：高吞吐、内存高效的推理与服务引擎，适合想把本地模型开放给整个团队使用时的进阶选择，GitHub 已有 9.2 万 star。
- Unsloth：提供本地 UI 来运行和训练 LLM，支持 GGUF 与 MLX 格式模型。
整体是面向想在本地/私有环境部署与微调模型团队的工具推荐帖。
「Infra」频道最新
- Lumentum:FDA 光学进入 30 年最大拐点,光互联将成算力引擎一部分 — pstAsiatech · 2026-09-16
- 埃因霍温成 AI 芯片集群：EUCLYD 融 2 亿欧，Axelera 出货 Europa — MarvinTBaumann · 2026-09-16
- Unsloth 推出桌面应用:本地运行和训练 LLM 一站搞定 — thisdudelikesAI · 2026-09-16
- GPU 算力是金融工程问题:拆解 AI 实验室 80% 毛利与扩容经济学 — sarahdrinkwater · 2026-09-16
- 德国算力困局:黑森州电力需求或增三倍,DFKI研发省电AI — FlorianGallwitz · 2026-09-16
- Novita 开源 Chord W4A16 MoE 内核,Kimi K2.x 推理最高提速 2.15x — vllm_project · 2026-09-16