开源模型上手三步指南:从选型到本地部署再到接入工具
every · x · 2026-10-02
Every 分享了一份开源模型入门指南（作者 kaizau 完整版），分三步：
- 选模型：GLM、Kimi、DeepSeek 等大模型适合难任务，Gemma 这类小模型足够做工单分类、发票号抽取等轻活；关键是用自己真实的工作样例测试，并调整 prompt。
- 选托管：用 OpenRouter 等服务免运维试用各模型；在意数据可控且有足够显存/内存时，可用 LM Studio 本地运行。
- 接入工具：把 API key 和 endpoint 配进兼容的编码或写作工具，或直接用 LM Studio 聊天界面；从一个结果可自查的重复性任务开始。
「Infra」频道最新
- Neocloud 现实检验：下一个 AI 项目为何可以绕开大型云厂商 — DavidLinthicum · 2026-10-02
- 前 SWE 转推理工程师：Ollama 从不最优，运行时与量化避坑指南 — Postmodern_Plunger · 2026-10-02
- 社区优化赛跑出 1900 tps prefill,较基线提速约 2.5 倍 — HankYeomans · 2026-10-02
- 圣安东尼奥一个选区超 12 座数据中心,隐身树林能躲过反对吗 — The Verge AI · 2026-10-02
- 等不了长合约？RunPod 等 GPU 自助云可即时开通算力 — DavidLinthicum · 2026-10-02
- AWS CEO 发 3000 字长文警告:阻挠数据中心将重创美国经济与安全 — The Verge AI · 2026-10-02