自建 AI 实验室指南:10 个 GitHub 开源仓库覆盖本地运行到微调
Shruti_0810 · x · 2026-10-23
博主整理了 10 个开源项目,可完全在本地跑模型、微调、实验而无需依赖昂贵云算力:
- MLX:Apple Silicon 上的机器学习实验
- Unsloth:低显存微调 LLM
- Axolotl:配置模型训练与微调工作流
- LitGPT:训练、微调与运行语言模型
- LlamaFactory:定制多种语言模型
- llama.cpp:在自己的硬件上跑量化模型
- Ollama:最小配置快速跑本地模型(截图显示其已 184k stars)
- vLLM:高吞吐推理服务
整体是一份从本地部署到微调、实验追踪的自托管路线图,适合想搭私有 AI 实验环境的开发者。
「Infra」频道最新
- 半导体股遭抛售,但服务器内存与 GPU 租金一个月涨 15% — tengyanAI · 2026-10-24
- VHA 注意力新方法：KV 缓存减 4 倍，长上下文 RULER 84.4 超 GQA 的 73.0 — pmttyji · 2026-10-23
- Oxide 自曝:做交换机曾被投资人质疑「你要干嘛?我撤了」 — Sethwinterroth · 2026-10-23
- TensorSharp 跑 DeepSeek V4.1 Flash prefill 吞吐达 llama.cpp 4.4–5.5 倍 — fuzhongkai · 2026-10-23
- SauerkrautLM 发布 1.5M~115M 三档 MoE 稀疏检索器 — QuixiAI · 2026-10-23
- 亚马逊 CEO：年砸 2200 亿美元仍满足不了 AI 需求 — a16z · 2026-10-23