从 i5 小主机到 Xeon+1080 Ti:一人本地 AI 工具链四年演进史
revennest · reddit · 2026-11-17
一位 Reddit 用户完整回顾自己从零搭建本地 AI 工具链的历程:
文本生成:从 Ollama、LM Studio 到 Msty,最终靠 Oobabooga Text Generation Webui 入坑,在 i5-6400T、24GB 内存、核显的迷你主机上以约 1 tok/s 的速度跑 Llama 3.1 8B 做角色扮演。后来用 140 元级的 Xeon E3-1270 V2 + 32GB DDR3 + GTX 1080 Ti 组装二手平台,先后折腾 KoboldCPP(写出 bat 脚本管理参数)、Llamafile,最终转到自带 WebUI 且速度大幅提升的 Llama.CPP。
图像生成:由一个讲解 SD 1.5/2/XL/Cascade/3 区别的 YouTube 视频引入,从 Forge 到 reForge 再到 Classic Forge,随工具停更不断迁移。
音频生成:尝试 Llama.CPP 失败后,试过 unsloth studio 但性能失望,如今转向已带 WebUI 的 Audio.CPP。
整体是一份低预算硬件玩本地 AI 的真实路径记录,对想入门本地部署的人有参考价值。
「Infra」频道最新
- NVIDIA 发布 cuPotential:分子动力学非键相互作用提速 3 倍 — AllThingsApx · 2026-11-17
- 航班银行微软集体宕机,官方称非网络攻击而是技术故障 — AaronBergman18 · 2026-11-17
- Vercel AI Gateway 上线 Private Inference:自有模型统一接入 — soleio · 2026-11-17
- 银行等关键系统频发断网事故,官方均称互不相关 — josh_bickett · 2026-11-17
- Q-CTRL 推出全自主工作流:量子芯片数小时内从校准到跑任务 — MJBiercuk · 2026-11-17
- 弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍 — krishnan · 2026-11-17