Transformers 支持激活检查点卸载到 CPU，GPU 显存紧张者福音
StasBekman · x · 2026-10-17
- Stas Bekman 介绍 Hugging Face Transformers 新增将激活检查点（activation checkpoints）卸载到 CPU 内存的能力，适合显存吃紧但 CPU 内存充裕的训练场景（需 transformers>=5.17）。- 配图 memory profiler 对比显示：开启 CPU 卸载后单次 forward-backward 的 CUDA 显存峰值明显下降。- 他提示该实现还需打磨提速，如需近零开销方案可参考其 ml-engineering 仓库：用独立 CUDA stream 与计算完全重叠并预取。
「Infra」频道最新
- 卖 10 部 iPhone Duo 的钱就能买满一间本地 GPU 实验室 — AIFlow_ML · 2026-10-17
- Nvidia MaxLPS 同功率下榨出 30-40% 性能,CUDA 之父称华尔街没算到 — bookwormengr · 2026-10-17
- E2B 创始人吐槽：多数沙箱服务商护城河只是 Firecracker 套壳 — zeeg · 2026-10-17
- 读一次内存的电够芯片做 6400 次加法：数据中心近存的投资机会 — FinanceYF5 · 2026-10-17
- Hash Rate 播客:Jev 模型登录 Bittensor SN92,去中心化训练挑战传统 LLM — markjeffrey · 2026-10-17
- 博通算账：AI 客户每部署 1GW 算力可产生 300 亿美元年收入 — Beth_Kindig · 2026-10-17