layerpool 开源:模型按层拆到多台设备,HF Trainer 零改动
Historical_Syrup_461 · reddit · 2026-11-23
- 开源工具 layerpool 可将 transformers 模型按层切分到多台设备上做微调:主机跑训练循环并保留 embeddings 和输出头,其余设备持有中间层,每台设备只下载自己负责的层。
- 代码改动几乎为零,只需换一行 import(import layerpool.hf as lp),Trainer、TRL、LoRA、QLoRA 均照常工作,支持 NVIDIA/AMD/Apple Silicon/CPU/Colab/Kaggle。作者说明:网络会成为瓶颈,速度不如单卡装下全模型,定位是训练那些本来装不下的模型。
- 项目地址:github.com/abdallah-swe/layerpool
「Infra」频道最新
- Shopify CEO 盛赞黄仁勋:英伟达的产品是「让石头思考」 — MartinGTobias · 2026-11-23
- 200 美元 Google AI Ultra 订阅可独占 96GB Blackwell GPU 连跑 10 天 — kieranklaassen · 2026-11-23
- 特斯拉 AI5 芯片性能提升 50 倍,将率先搭载 Optimus 人形机器人 — markjeffrey · 2026-11-23
- 4 张 3090 跑 Qwen 3.8:KV Cache 卸载到内存,8 路并发 200k 上下文 — Mr_Moonsilver · 2026-11-23
- OpenAI 图表泄露 GPT-6 Astra 与内部模型,Domingos 质疑数百亿美元收益 — pmddomingos · 2026-11-23
- 作者复盘 wllama v4.0:RPC 方案性能损失极小,致谢 GGML RPC 后端 — ngxson · 2026-11-23