4 张 GPU 微调 235B MoE 大模型，作者复盘全过程
kgritesh · hn · 2026-10-19
作者发布长文复盘如何在仅 4 张消费级 GPU 上微调一个 235B 参数的 MoE 模型：通过量化、参数高效微调等手段把显存需求压到极低，最终跑通了全流程——但随后发现微调后的模型并没有解决实际问题，于是放弃了这条路线。文章同时给出了踩坑细节和硬件/参数配置，对想做超大模型低成本微调的开发者有很高的参考价值。
「Infra」频道最新
- Modal 开源 Spindle：Tinker 兼容训练服务器，按 GPU 计费不再按 token 付费 — andersonbcdefg · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23