从 i5 小主机到 Xeon+1080 Ti:一人本地 AI 工具链四年演进史

revennest · reddit · 2026-11-17

一位 Reddit 用户完整回顾自己从零搭建本地 AI 工具链的历程:

文本生成:从 Ollama、LM Studio 到 Msty,最终靠 Oobabooga Text Generation Webui 入坑,在 i5-6400T、24GB 内存、核显的迷你主机上以约 1 tok/s 的速度跑 Llama 3.1 8B 做角色扮演。后来用 140 元级的 Xeon E3-1270 V2 + 32GB DDR3 + GTX 1080 Ti 组装二手平台,先后折腾 KoboldCPP(写出 bat 脚本管理参数)、Llamafile,最终转到自带 WebUI 且速度大幅提升的 Llama.CPP。

图像生成:由一个讲解 SD 1.5/2/XL/Cascade/3 区别的 YouTube 视频引入,从 Forge 到 reForge 再到 Classic Forge,随工具停更不断迁移。

音频生成:尝试 Llama.CPP 失败后,试过 unsloth studio 但性能失望,如今转向已带 WebUI 的 Audio.CPP。

整体是一份低预算硬件玩本地 AI 的真实路径记录,对想入门本地部署的人有参考价值。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →