650 美元攒 8 卡 T4 服务器跑本地 LLM,QLoRA 微调路线陷入困局
exaknight21 · reddit · 2026-10-26
一位 Reddit 用户晒出了自己的廉价本地大模型硬件方案并求助微调路线。他花 650 美元购入 Asus ESC4000 G3 服务器(128GB DDR4),插 8 张 T4,每卡跑独立 llama.cpp 实例,通过 nginx 轮询负载均衡,单用户约 35-40 tps,TTFT 3-5 秒,Qwen 3.5-9B Q5KXL 单槽 87k 上下文、共 44 槽,自测质量不输 gpt-4o-mini(非编码用途)。整机加其他卡(V620 约 350 美元/张,Mi50 约 480 美元/张包邮,二手 3060 12GB 250 美元)总投入很低。
但坑不少:300 美元收的 ZP9E-D8 WS(256GB DDR3、4 条 x16)插任何 32GB 显卡都无法点亮;T5610 只能识别一张 Mi50/V620;B660M 能点亮双 V620;ROG X299 只能点一张 Mi50。
现在他要用 QLoRA 对约 500GB 混合数据(图片/扫描件/PDF/Word/Excel)微调模型,但不知道该走哪条路:继续攒 3060 12GB,还是上约 700 美元的 Intel B65/B70(不确定 unsloth 是否支持 Intel GPU),纠结中求助社区,不想再花冤枉钱。
「Infra」频道最新
- 马斯克：债市已对无 AI 数据中心外收入的公司关门 — GregCook2011 · 2026-10-26
- Nebius CEO 称上周起债市对 Neocloud 关闭，CoreWeave 被点名危险 — mjdramstead · 2026-10-26
- PHP2SHELL 事件追踪：PHP WASM 服务器暂未受影响，补丁开发中 — MickeySteamboat · 2026-10-26
- Hardened BliKVM 开源：Rust 重写的安全 IP-KVM 固件 — ssh4net · 2026-10-26
- 单张 A40 跑全栈语音 Agent:首音频延迟中位数 1.28 秒，附调优细节 — Broad_Breakfast_1172 · 2026-10-26
- AI 的真瓶颈不是芯片而是电力：缺'暖壳'机房致 GPU 沦为搁浅资本 — rohanpaul_ai · 2026-10-26